吴恩达预热新课!万字博客回顾机器学习算法起源

更新时间:2022-06-10 14:00:44作者:佚名

吴恩达预热新课!万字博客回顾机器学习算法起源


新智元报道

编辑:LRS

【新智元导读】吴恩达最近发布了一篇博客,介绍了几个基础算法的起源和直观理解,还宣传了一下自己重置版机器学习课程:目的竟是为了复习一遍!

神经网络模型在学术界和工业界都处于绝对的垄断地位,使得「机器学习」几乎要跟「深度学习」划上等号了。

作为深度学习的领军人,吴恩达自然也是深度学习的忠实使用者。

最近吴恩达在博客网站上发表了一篇特刊,表示自己由于常年使用神经网络,已经快忘了该怎么用传统的机器学习算法了!


因为深度学习并非在所有场景下都好用,所以在「盲目」使用神经网络受挫后,痛定思痛,写了一篇文章,为一些传统的机器学习算法提供一些直观上的解释。


这篇博客也是为即将发布的、由 Stanford Online 和 DeepLearning.AI 联合推出Machine Learning Specialization课程提供一些基础知识,包括线性回归、逻辑回归、梯度下降、神经网络、决策树、K-means聚类等算法。


吴恩达的来信

亲爱的朋友们,

几年前,我们计划在有限的计算量预算内将该算法应用于一个庞大的用户群,所以有必要选择一个高效的算法。

在神经网络和决策树学习算法之间,我选择了神经网络。

因为我已经有一段时间没有使用提升决策树了,我直觉上认为它们需要的计算量比实际要多,但选择神经网络是一个错误的决定。

幸运的是,我的团队很快就指出了错误,并修正了我的决定,而这个项目最后也获得了成功。

这次经历给我上了一课,告诉我学习和不断刷新基础知识的重要性。如果我重新熟悉了提升树,我就会做出更好的决定。


机器学习和其他技术领域一样,随着研究人员社区在彼此工作的基础上不断发展,一些贡献经过时间的考验后,长盛不衰,并成为进一步发展的基础。

从住房价格预测器到文本、图像生成器,一切新算法都建立在基础算法上(例如线性和逻辑回归、决策树等)和基础概念(如正则化、优化损失函数、偏差/方差等)的核心思想上。

坚实的、时刻更新的基础知识是成为一名高效的机器学习工程师的一个关键。许多团队在日常工作中都会用到这些想法,而博客文章和研究论文也常常假定你对这些思想很熟悉,这些常识基础对于我们近年来看到的机器学习的快速进步至关重要。

这也是为什么我把原来的机器学习课程进行了更新。


我的团队花了很多时间来讨论最核心的教学概念,为各种主题制定了广泛的教学大纲,并在其中设计了课程单元的原型。

这个过程帮助我们认识到,主题的多样性比细节的知识更重要,所以我们又重新制作了一份大纲。

我希望最后的结果是一套易于理解的课程,能够帮助任何人掌握当今机器学习中最重要的算法和概念,包括深度学习,但也包括很多其他东西,并能够建立有效的学习系统。

本着这种精神,我们决定探讨一些领域内最重要的算法,解释了它们是如何工作的,并介绍它们不为人知的起源。

如果你是一个初学者,我希望它能帮助你揭开机器学习核心的一些方法的神秘面纱。

对于那些老手来说,你会在熟悉的领域中发现一些鲜为人知的观点。

学无止境,保持学习!

吴恩达

线性回归

线性回归(Linear regression)可能是机器学习中的最重要的统计方法,至于谁发明了这个算法,一直争论了200年,仍未解决。

1805年,法国数学家勒让德(Adrien-Marie Legendre)在预测一颗彗星的位置时,发表了将一条线拟合到一组点上的方法。天体导航是当时全球商业中最有价值的科学,就像今天的人工智能一样。

四年后,24岁的德国天才数学家高斯(Carl Friedrich Gauss)坚持认为,他自1795年以来一直在使用这种方法,但他认为这种方法太过琐碎,无法写出来。高斯的说法促使Legendre发表了一份匿名的附录,指出「一位非常有名的几何学家毫不犹豫地采用了这种方法」。

这类长期存在发明争议的算法都有两个特点:好用,且简单!

线性回归的本质上就是斜率(slopes)和截距(biases,也称偏置)。

当一个结果和一个影响它的变量之间的关系是一条直线时,线性回归就很有用。

例如,一辆汽车的油耗与它的重量呈线性关系。


一辆汽车的油耗y和它的重量x之间的关系取决于直线的斜率w(油耗随重量上升的陡峭程度)和偏置项b(零重量时的油耗):y=w*x+b。

在训练期间,给定汽车的重量,算法预测预期的燃料消耗。它比较了预期和实际的燃料消耗。然后通过最小二乘法,使平方差最小化,从而修正w和b的值。

考虑到汽车的阻力,有可能产生更精确的预测。额外的变量将直线延伸到一个平面。通过这种方式,线性回归可以接收任何数量的变量/维度作为输入。

线性回归算法在当年可以帮助航海家追踪星星,后来帮助生物学家(特别是查尔斯-达尔文的表弟弗朗西斯-高尔顿)识别植物和动物的遗传性状,进一步的发展释放了线性回归的潜力。

1922年,英国统计学家罗纳德-费舍尔和卡尔-皮尔逊展示了线性回归如何融入相关和分布的一般统计框架,再次扩大了其适用范围。

近一个世纪后,计算机的出现为其提供了数据和处理能力,使其得到更大的利用。

当然,数据从来没有被完美地测量过,而且多个变量之间也存在不同的重要程度,这些事实也刺激了线性回归产生了更复杂的变体。

例如,带正则化的线性回归(也称为岭回归)鼓励线性回归模型不要过多地依赖任何一个变量,或者说要均匀地依赖最重要的变量。如果你要追求简化,使用L1的正则化就是lasso回归,最终的系数更稀疏。换句话说,它学会了选择具有高预测能力的变量,而忽略了其他的变量。

Elastic net结合了两种类型的正则化,当数据稀少或特征出现关联时,它很有用。

神经网络中最常见的一种神经元就是线性回归模型,往往后面再跟着一个非线性激活函数,所以线性回归是深度学习的基本构件。

Logistic回归

Logistic函数可以追溯到19世纪30年代,当时比利时统计学家P.F. Verhulst发明了该函数来描述人口动态。

随着时间的推移,最初的爆炸性指数增长在消耗可用资源时趋于平缓,从而形成了Logistic曲线。


一个多世纪后,美国统计学家威尔逊(E. B. Wilson)和他的学生简-伍斯特(Jane Worcester)设计了逻辑回归算法,以计算出多少给定的危险物质会致命。

Logistic回归将logistic函数拟合到数据集上,以预测在某一事件(例如,摄入马钱子)发生特定结果(例如,过早死亡)的概率。


1、训练时水平地调整曲线的中心位置,垂直地调整其中间位置,以使函数的输出和数据之间的误差最小。

2、将中心向右或向左调整意味着需要更多或更少的毒药来杀死普通人。陡峭的坡度意味着确定性:在中间点之前,大多数人都能活下来;超过中间点,那就说得再见了。一个平缓的斜率更宽容:低于曲线的中间点,超过一半的人可以存活;更远的地方,不到一半。

3、设置一个阈值,比如说0.5,曲线就成了一个分类器。只要把剂量输入模型,你就会知道你应该计划一个聚会还是一个葬礼。

Verhulst的工作发现了二元结果的概率,后来英国统计学家David Cox和荷兰统计学家Henri Theil在20世纪60年代末独立工作,将逻辑回归法用于有两个以上类别的情况。

Logistic函数可以描述多种多样的现象,并具有相当的准确性,因此Logistic回归在许多情况下提供了可用的基线预测。

在医学上,它可以估计死亡率和疾病的风险;在政治中,它可以预测选举的赢家和输家;在经济学中,它可以预测商业前景。

在神经网络中,有一部分神经元为Logistic回归,其中非线性函数为sigmoid。

梯度下降

想象一下,在黄昏过后的山区徒步旅行,你会发现除了你的脚以外看不到什么。而你的手机没电了,所以你无法使用GPS应用程序来寻找回家的路。

你可能会发现梯度下降的方向是最快路径,只是要小心不要走下悬崖。

1847年,法国数学家Augustin-Louis Cauchy发明了近似恒星轨道的算法。60年后,他的同胞雅克-哈达玛德(Jacques Hadamard)独立开发了这一算法,用来描述薄而灵活的物体的变形。

不过,在机器学习中,它最常见的用途是找到学习算法损失函数的最低点。

神经网络通常是一个函数,给定一个输入,计算出一个期望的输出。

训练网络的一种方法是,通过反复计算实际输出和期望输出之间的差异,然后改变网络的参数值来缩小该差异,从而使损失最小化,或其输出中的误差最小。

梯度下降缩小了误差,使计算损失的函数最小化。

网络的参数值相当于景观上的一个位置,而损失是当前的高度。随着你的下降,你提高了网络的能力,以计算出接近所需的输出。

不过可见性是有限的,因为在监督学习下,算法完全依赖于网络的参数值和梯度,也就是当前损失函数的斜率。


使用梯度下降,你也有可能被困在一个由多个山谷(局部最小值)、山峰(局部最大值)、马鞍(马鞍点)和高原组成的非凸形景观中。事实上,像图像识别、文本生成和语音识别这样的任务都是非凸的,而且已经出现了许多梯度下降的变体来处理这种情况。

K-means聚类

如果你在派对上与其他人站得很近,那么你们之间很可能有一些共同点。

K-means的聚类就是基于这种先验想法,将数据点分为多个group,无论这些group是通过人类机构还是其他力量形成的,这种算法都会找到它们之间的关联。


美国物理学家斯图尔特-劳埃德(Stuart Lloyd)是贝尔实验室标志性创新工厂和发明原子弹的曼哈顿项目的校友,他在1957年首次提出了k-means聚类,以分配数字信号中的信息,不过他直到1982年才发表。

与此同时,美国统计学家爱德华-福吉(Edward Forgy)在1965年描述了一种类似的方法——劳埃德-福吉算法。

K-means聚类首先会寻找group的中心,然后将数据点分配到志同道合的group内。考虑到数据量在空间里的位置和要组成的小组数量,k-means聚类可以将与会者分成规模大致相同的小组,每个小组都聚集在一个中心点或中心点周围。

在训练过程中,算法最初需要随机选择k个人来指定k个中心点,其中k必须手动选择,而且找到一个最佳的k值并不容易。

然后通过将每个人与最接近的中心点联系起来形成k个聚类簇。

对于每个聚类簇,它计算所有被分配到该组的人的平均位置,并将平均位置指定为新的中心点。每个新的中心点可能都不是由一个具体的人占据的。

在计算出新的中心点后,算法将所有人重新分配到离他们最近的中心点。然后计算新的中心点,调整集群,以此类推,直到中心点(以及它们周围的群体)不再移动。

将新人分配到正确的群组很容易,让他们在房间里找到自己的位置,然后寻找最近的中心点。

K-means算法的原始形式仍然在多个领域很有用,特别是因为作为一种无监督的算法,它不需要收集潜在的昂贵的标记数据,它的运行速度也越来越快。

例如,包括scikit-learn在内的机器学习库都得益于2002年增加的kd-trees,它能极快地分割高维数据。

参考资料:

https://read.deeplearning.ai/the-batch/issue-146/

本文标签: 吴恩达  机器学习  深度学习  算法  

为您推荐

网易云音乐私人FM是什么意思 网易云音乐是什么软件

1、私人FM其实就是私人电台,这个私人FM只要调教的好了就会推送用户喜欢的音乐。网易云音乐私人FM是根据用户听歌习惯,进行智能推荐歌曲的一个功能。该功能依赖于平台的智能推荐算法,算法越强大,推荐的歌曲也就越符合用户喜好。

2023-01-29 10:39

信息技术是什么 关于信息技术的介绍

1、信息技术是指利用电子计算机和现代通讯手段实现获取信息、传递信息、储存信息、处理信息、显示信息、分配信息等的相关技术。 2、从广义上讲,凡是能扩展人类信息功能的技术,都是信息技术。随着微电子技术、计算机技术和通信技术

2023-01-29 03:39

wps通配符使用技巧 WPS中通配符怎么用

1、首先,我们使用键盘快捷键“ctrl+F”找到“查找与替换”的对话框,选择“替换(P)”选项。2、然后,点击下面的“高级搜索”,搜索(C)选择为“全部”并且同时打开下面的“使用通配符”选项。3、之后在查找内容栏里面输入

2023-01-27 10:39

理财和基金的区别 关于理财和基金的区别介绍

1、购买门槛,银行理财一般的购买门槛要求较高,有的在5万元以上,有的在上百万元以上;而基金的认购起点多在1000元左右,有的没有门槛限制。 2、安全性的区别,银行理财和基金虽然安全性都比较高,但是由于基金同时受基金法和

2023-01-26 00:08

结构性存款和理财产品的区别 关于结构性存款和理财产品的区别

1、本质的区别在于,结构性存款依旧是存款范围,而理财不属于存款的范围,也就是说理财是有本金亏损的风险在,而存款则一般不会有。2、结构性存款的门槛相对较高,一般五万元起投,也有部分银行推出一万起投的。而理财产品一般没有什么

2023-01-26 00:08

理财小知识 介绍 详解两个理财小知识

1、要分清理财和投资的区别:(1)投资追求的是投入于产出比,比如我们分析上市公司,经常用到ROE,其本质我们是在分析企业赚钱的能力,而理财侧重于财富的稳定增长。(2)投资的为了在最短时间内,让有限的资源产生最大的回报,而

2023-01-25 21:09