深度学习革命：神经网络

蓝天白云

罗森布拉特的感知机被技术权威明斯基打进了冷宫。然而，是金子总会发光。后来的研究人员默默的整理感知机的资料，在罗教授去世三年后，1974年哈佛大学的博士生沃泊斯Werbos等人继续研究感知机。他们首先，把婴幼儿的眼睛、大脑、和嘴巴

在识别妈妈和叫出妈妈的过程，

用三列神经元来表征。把婴幼儿的眼睛用第一列神经元，大脑用第二列神经元，嘴巴用第三列神经元表示。三列神经元之间用权值联接起来，调整计算权值就是表征婴幼儿记忆感觉和认识妈妈过程，即感知机的学习过程通常采用监督学习的方式，通过不断调整权值，使得在给定输入数据时能够输出正确的输出结果‌，这就是罗森布拉特最伟大的发明《新计算范式》，用感知机实现机器学习。

即按罗森布拉特的思想，抽象成神经网络，第一列红色的神经元表示婴幼儿的眼睛，第二列黄色的神经元表示婴幼儿的大脑，第三列蓝色的神经元表示婴幼儿的嘴，权值即每列神经元之间联接线（黑色）上的值，见上两图比较。作者不厌其烦地重复这三列神经元表示婴幼儿的眼、脑和嘴，就是让看官你也感觉出来了，为什么文明斯基会发现它只能是婴幼儿的大脑水平！因为描述大脑的黄色一列神经元太少了呀！恭喜看官，你也有获诺贝尔奖的天赋了！

先来看文斯基怎么样发现感知机至多能描述婴幼儿脑的，即只有线性分类能力。这里每个皮茨M-P神经元如下定义，这里输入xi表示婴幼儿的眼睛见到妈妈的像素，wl表示赫布权值，将像素按比例送到大脑神经元中，神经元处理比例后的像素，转换成y指挥嘴，叫出“妈妈”或不叫。

即见下图，当绿色圆为一类，棕色圆为另一类时时，你可以用一条直线把两类元分开（直线的一边是绿色圆，另一边是棕色圆），即可线性分类。经过学习，即调整权值，感知机能找到这条直线。

但对于下面的图，当绿色圆为一类，棕色圆为另一类时，无论怎样学习，感知机都无法找到一条直线，能把它们进行正确分类，但是必须要两条直线才能把它们进行正确分类。这就是明斯基发现并证明感知机的缺陷。

哪儿去找那最二根直线呢？1974年，沃泊斯跟你一样，突然灵光一闪，描述婴幼儿大脑的黄色一列神经元太少了！随着年龄增长，神经元会增加的呀！加一列黄色神经元不就行了吗！从而他构造了下面的神经网络，即增加了一列黄色神经元。

这就是沃泊斯找到的两层感知机弥补了单层感知机的缺陷，即可产生非线性分类能力（找到了可以用于分类的曲线）。但是，由于对感知机的偏见观点惯性作用，这个结果没有引起人们的关注。

但是，这个结果却引起了辛顿的注意，

十二年后，辛顿在1986年把沃泊斯的成果更一般化，并推广到任意层的神经网络，并将激活函数连续化，给出了通用反向传播算法BP，即求权值的关键两步：1 用损失函数求最小值；2 梯度迭代。还证明了其收敛性。

1989年，尼尔森又证明了，神经网络是万能逼近机，即可以逼近任何连续函数。在这些研究成果的基础之上，2006年，辛顿又推进到玻兹曼神经网络：2010年，辛顿的博士后杨立昆又推进到卷积神经网络。

2012年，雷达（千里眼）和声纳（顺风耳）研究终于在辛顿和他的两个博士的研究成就带来了突破，解决了军方的大难题，从此引发了深度革命，参看张老师写的《深度学习是什么？何为深度？》和《双奖得主艰辛历程与成功启迪1》。

今年2024年诺贝尔奖授予辛顿，加上2018年授予他图灵奖，表彰他带来的深度学习革命。通过下面的比较，你才能理解这次革命对人类文明进步是划时代的！
解放人类体力劳动的工业革命：牛顿力学（1687年）→瓦特蒸汽机（1776年）→法拉第电动机（1821年）→本茨汽车（1886年）→查达拖拉机（1889年）→莱特飞机（1903年）。
解放人类脑力劳动的深度学习革命：麦克洛克皮茨神经元（1943年）→赫布权值（1948年）→罗森布拉特感知机（1958年）→沃泊斯多层感知机（1974年）→辛顿BP机（1986年）→尼尔森万能逼近机（1989年）→辛顿玻兹曼机（2006年）→辛顿卷积神经机（2012年）→阿尔法狗（2016年）→ChatGPT（2022年）。