一小撮研究者的坚守

1973年，杰弗里·辛顿进入爱丁堡大学研究生院。他的论文导师是克里斯托弗·朗古特-希金斯（Christopher Longuet-Higgins）。希金斯是一位杰出的化学家，他发明了一种早期的联想记忆网络模型。那时，实现人工智能的主流方式是基于使用符号、逻辑和规则来编写智能行为的程序；认知心理学家已经采用这种方法来理解人类的认知能力，尤其是语言。而那时的杰弗里却在逆流而行。没有人能预见到他有朝一日会搞清楚大脑--或者至少类似大脑的某种东西--的工作原理。

特伦斯·谢诺夫斯基和杰弗里·辛顿在1979 年他组织的一次研讨会上相识。因为对神经网络模型的未来抱有相似的信念，我们很快就成了朋友。后来我们合作研究出了一种新型神经网络模型，叫作“玻尔兹曼机”（Boltzmann machine），并就此打破了阻碍一代人研究多层网络模型的僵局。

图3 特伦斯·谢诺夫斯基（左）和杰弗里·辛顿（右）在波士顿讨论视觉网络模型，照片拍摄于1980年

1985年杰弗里·辛顿和特伦斯·谢诺夫斯基发表了文章《玻尔兹曼机的一种学习算法》（A Learning Algorithm for Boltzmann Machines），这是马文·明斯基和西摩尔·帕普特被广泛接受的观点的反例，后者认为为多层网络开发学习算法是不可能的。

20 世纪 80年代，杰弗里·辛顿和特伦斯第一次见到法国学生杨立昆。杨立昆在9岁时，就深受1968年史诗级的科幻电影《2001 太空漫游》中的任务计算机 HAL 9000的启发，想要开发人工智能。他曾独立发明了反向传播误差算法的一种版本，并记录在他 1987 年的博士论文中，10 之后他就搬到多伦多，加入了杰弗里的团队。

后来，他转去了美国电话电报公司（AT&T）在新泽西州霍姆德尔（Holmdel）的贝尔实验室，在那里他创造了一个可以读取信件上的手写邮政编码的网络，采用修订的美国国家标准与技术研究院（Modified National Institute of Standards and Technology，简称MNIST）数据库作为一种标记数据基准。每天有数百万封信件需要递送到信箱里；而今天，这个过程是完全自动化的。同样的技术也可以用来自动读取 ATM 机上银行支票的金额。有趣的是，最难的部分其实是查找支票上数字的位置，因为每张支票都有不同的格式。早在20世纪 80年代，杨立昆就显露出了证明原理（学者们擅长的事情）并将之应用在现实世界中的非凡天赋。后者要求实际产品必须经过严格的测试，且表现稳健。

杨立昆在2003 年去了纽约大学后，仍继续开发他的视觉网络，现在被称为卷积网络（ConvNet）。这个网络的基本结构是基于卷积的，卷积可以被想象成一个小的滑动滤波器，在滑过整张图像的过程中创建一个特征层。

图4 杰弗里·辛顿和杨立昆，照片拍摄于2000年

1986 年大卫·鲁姆哈特（David Rumelhart）和杰弗里·辛顿发表了文章《通过误差传播学习内在表征》（Learning Internal Representations by Error-Propagation），其中介绍了当前用于深度学习的“反传”（backprop）学习算法。

深度学习的黎明和爆发

杰弗里·辛顿在21世纪头十年成为加拿大高等研究院（Canadian Institute for Advanced Research，简称 CIFAR）神经计算和自适应感知项目的带头人。该项目由来自加拿大和其他国家的约 25 位研究人员组成，专注于解决机器学习的难题。

后来，另外两位图灵奖获得者蒙特利尔大学的约书亚·本吉奥，和杨立昆一起，接替杰弗里·辛顿， 成为 CIFAR 神经计算和NCAP 项目的主任，该项目在通过十年评估后更名为“机器学习和大脑学习”项目（Learning in Machines and Brains）。约书亚率领蒙特利尔大学的一个团队，致力于应用深度学习来处理自然语言，这将成为“机器学习和大脑学习” 项目新的研究重点。

图5 约书亚·本吉奥

约书亚·本吉奥作为 CIFAR“机器学习和大脑学习”项目的联合主任。这位在法国出生的加拿大籍计算机科学家，一直是应用深度学习处理自然语言问题这个领域的领导者。杰弗里·辛顿、杨立昆和约书亚·本吉奥所取得的进展，为深度学习的成功奠定了基础。

2012年在太浩湖举行的NIPS 大会上，深度学习领域的研究已经日趋成熟。在这次大会上，早期的神经网络先驱杰弗里·辛顿和他的学生们发表了一篇论文，文中指出，多层神经网络在识别图像中的对象方面性能非常出色。这些网络不仅比现有计算机的视觉技术更好，它们甚至已经处于一种完全不同的更高层次中，更加接近人类的表现水准。《纽约时报》刊登了一篇关于深度学习的文章，同时Facebook 宣布与另一位深度学习先驱杨立昆合作成立一个新的人工智能实验室，由后者担任创始实验室主任。

计算机协会（ACM）主席在评论这次获奖情况时说：“人工智能是现在所有科学领域发展最快的之一，也是社会上最受关注的话题之一。人工智能的发展很大程度归功于本吉奥，辛顿和杨立昆为深度学习的最新进展奠定的基础。数十亿人都在使用着这一技术。任何口袋里装着智能手机的人都可以体验到自然语言处理和计算机视觉方面的进步，而这些在十多年前都是不可能的。除了我们日常使用的物品，深度学习的新进展也给了从医学到天文学再到材料科学的科学家们强有力的新工具。”

神经网络学习的重大突破每30年就会发生一次，从 20世纪 50年代引入感知器开始，到20世纪 80年代学习多层感知器算法，再到2010 年开始兴起深度学习。其中每个阶段都经历了一段繁荣期，在短时间内取得了飞跃性的进展，随后便是较长时期的缓慢发展。但是其中一个不同点在于，随着每次复兴，兴盛时期的影响一直有增无减。最新的增长动力来源于大数据的普及，而 人工智能领域的研究者们早就为这一天的到来做好了准备。