主页 > L假生活 >「AI 教父」Hinton 与深度学习 40 年的奇幻旅程 >

「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

坚持你所相信的,直到世界追上你的脚步。

因为伤了背, Geoff Hinton 已经站着工作了  12 年,似乎巧合地迎合了现在「站立工作」的这股风潮。

「我领先于潮流,」Hinton 说。

「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

不仅仅是这一点, Hinton 更广为人知的「领先于潮流」,是在深度学习领域。在所有人都不看好神经网络的年头,是他,将这一技术带进了主流学术界。

Bloomberg 近日为这位「深度学习教父」拍摄了一段特写纪录片,用短短  8 分钟,讲述了这位「有点皮」的教授关于神经网络的  40 年传奇经历。

影片来源:Youtube

AI 圈没人听过的 AI 教父,全靠一篇「深度网络」的论文

今天,混  AI 圈的人鲜有人没听过 Geoff Hinton。他是谷歌大脑研究小组的负责人,多伦多大学的荣誉教授。而奠定了他在今天人工智慧圈「教父」地位的,是他在多层神经网络技术的贡献。

Hinton 对  AI 的贡献有多大呢?

学术点说, Hinton 在  1986 年提出的通过反向传播来训练深度网络理论,标誌着深度学习发展的一大转机,为近年来人工智慧的发展奠定了基础。

更实际点说,今天谷歌中通过语音识别进行图片检索、在手机上把语音转化为文字的技术的实现,大部分功劳要归于  Hinton 博士的研究。

他的研究,彻底改变了人工智慧,乃至整个人类发展的轨迹。

想了解大脑,就做一个出来,咦?

「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

Geoff Hinton 出生在英国一家「书香门第」,家人多是数学家和经济学家,这样的「学霸爸妈」显然让  Hinton 的童年不太好过,正如他自己所说:「我大概在  7 岁的时候就意识到,不读博士不行了(微笑脸)。」

而最初把  Hinton 引上人工智慧这条路的,是他对人脑的好奇。

Hinton 很早就沈迷于大脑如何工作的问题。于是,他开始进入生理学,解剖大脑以了解其工作方式。

不满足于此,他又开始学习心理学。最后,他决定更多地使用计算机科学的方法来模拟大脑,并进入人工智慧领域,开始了他近  40 年的研究生涯。

「我认为,如果你真的想了解一个非常複 杂的装置,比如大脑,那你就製作一个。」

大家都不认可时,为什幺不放弃?因为坚信「其他人都错了」

「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

儘管现在已经成为了人工智慧的主流研究方法,神经网络在最初问世时,命途多舛。

1956 年,美国认知心理学家弗兰克 ・罗森布拉特( Frank Rosenblatt)基于神经元的理论发明了一种模拟神经元的方法。它的基本点是一个被称为神经元的小单位的集合。 这些集合都是小的计算单元,但可以模拟人脑计算的方式。和我们从感官中获取数据一样,这些神经元可以获取传入数据并进行学习,所以神经网络可以随着时间的推移做出决定。

但是, Rosenblatt 的学习算法当时对于多层结构的神经网络不起作用。人工智慧学者们也因此放弃了学习式软件的想法。他们转而使用逻辑来产生智能  —— 比如下棋的能力。

几乎没人再相信神经网络的前景,也没人再研究神经网络。

除了 Hinton。

「大脑是一个巨大的神经网络,因此,神经网络必须也是可以工作的,因为它在我们的大脑中起作用。」Hinton 说。

「那是什幺支持着你不放弃?」

「其他人都错了(everyone else is wrong)。」

不满意自己的研究用在「非善意」的东西上,毅然决然搬到加拿大

「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

为了找到一个支持他研究神经网络的栖身之处, Hinton 在美国辗转多地。但是,当时大部分的学术研究都是受到国防部支持。

而  Hinton 对于这样拿到自己的研究经费并不满意:「我不希望我的研究成果被用在一些不善意的目标上。」

的确,深度学习从诞生之日起,就与国防部的一些军事目的有着不可分割的渊源。

甚至直至今天依然如此  —— 今年  3 月谷歌被曝光正参与  Maven 项目,向美国军方提供  TensorFlow APIs 和无人机图像识别技术,引起巨大争议和众多抗议, 6 月谷歌不得不承诺不将  AI 用于武器。 这场声势浩大的争论甚至将战火燃到了李飞飞身上 。

而关于  AI 伦理和技术人员责任的争论也从来没有停止过。

近两年, 将算法用来自动识别一起犯罪是否属于团伙犯罪,或识别一个人是否是同性恋的研究屡见不鲜,算法的缔造者是否应该在研究之外分出心力,了解自己研究背后更深的影响呢?

在  40 年前, Hinton 的选择或许已经给出了他的答案。

为了避免为五角大楼服务, Hinton 最终落脚在加拿大的多伦多大学。这个国家欢迎他,也支持他的神经网络研究。「去这个文明的小镇继续研究对我来说非常有吸引力。」

而  HIinton 也没有让加拿大失望。

正因为  Hinton 和他的学生的研究,加拿大现在已经成为人工智慧研究的重要力量之一,多家人工智慧巨头都将他们的研究中心开在了多伦多,各种前沿人才为了追随  Hinton 的脚步,络绎不绝地来到这座北方国度:「 Hinton 将加拿大拉入了  AI 超级大国的版图。」

当你的理想被质疑时,请温柔的给世界一点时间赶上

在多伦多, Hinton 和他的团队研究出了更深度的神经网络,以解决更複 杂的问题。他们共同开发了一个多层神经网络,这个深度神经网络也被应用于多个方面。

比如有人用它在  80 年代就打造了一辆无人车并且开上了路。

「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

而现在已经是深度学习的另一位领袖人物、 Facebook 的  AI 实验室负责人  Yann LeCun 则利用深度神经网络建立了一个可以识别手写数字的系统。这一系统最终实现了商用。

「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

在当时,深度神经网络的前景似乎一片大好,但是,现实中的故事往往没有这幺简单。

Hinton 的研究再次遇到了瓶颈。

「我们当时并没有足够的数据,也没有足够的计算机运行能力,AI 和计算机科学的从业者认为神经网络是一厢情愿的想法。」

但  Hinton 始终坚持着,儘管完全不被重视。

他坐在房间的最角落里参加学术会议,在大牛云集的人工智慧会议上完全不被重视。甚至他自己也开始产生了怀疑:「有很多次我都觉得我不会继续这项工作了」。

直到这个世界开始慢慢追上他的脚步。

2006 年,计算机的运行速度有了巨大的提高,超快速芯片的到来以及互联网上产生的大量数据使得  Hinton 的算法变得非常神奇。突然之间,计算机开始可以识别图像中的内容,可以识别语音,可以将一种语言翻译成另一种语言。

2012 年, Geoffry Hinton 和他的团队带着AlexNet 参加了那一年的  ImageNet ILSVRC 挑战赛,以惊人的优势获胜(错误率比第二名低了足足10%)。这篇被NIPS 2012 收录的论文被认为是深度学习热的开啓。

同年,「神经网络」和「机器学习」等词彙也开始在纽约时报的头版出现。

「人们终于理解了这个概念,我感到很欣慰。」Hinton 这样说。

「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

2017 年用胶囊网络,自己推翻自己

儘管已经成为了深度学习的领袖人物, Hinton 的脚步却从没有停歇。 2017 年  10 月  26 日, Hinton 发表了一篇在  AI 圈掀起轩然大波的论文 ——Capsule Networks(胶囊网络)。

Hinton 高喊,「卷积神经网络(CNN)的时代已经过去了!」,将他过去几十年的研究翻了过去。

感兴趣的读者可以查看 论文 。

儘管胶囊网络现在仍然处在婴儿期,在训练庞大的数据集时,仍可能会遇到问题,但在未来, Hinton 相信它还有发展的巨大潜力。

也许,这位深度学习教父还将再次改写深度学习的发展历程。

延伸阅读

年仅 25 岁!这个打败 AlphaGo 的男人,是怎幺 CONNECT with AI?
一场世足赛,让经济学者找出 AI 与商业创新模式的关联
台湾中学教育别歪楼,说要设立「AI 专班」的官员真的知道自己在讲啥吗?

《在Apple工作最讨厌的10件事》苹果员工大揭祕

《在Apple工作最讨厌的10件事》苹果员工大揭祕

之前我们宅宅分享过脸书员工们爆料在 Facebook 工作最讨厌的 20 件事,而这次就要来分享苹果

《在一起孤独》亲密关係里,你想要的是舒服还是真实?

《在一起孤独》亲密关係里,你想要的是舒服还是真实?

作者 Google 谈《在一起孤独》所述的亲密关係,那些让我们感觉「不舒服」的情绪,都是真实且让我们

《在你发出批评言论时请先想想再发出》

《在你发出批评言论时请先想想再发出》

在你发出批评言论时请先想想再发出日常生活中有一种很常见的现象当某件事做得并不完美甚至可说是缺陷很多时

《在台湾寻找Y字路》

《在台湾寻找Y字路》

书名:在台湾寻找Y字路作者:栖来光译者:邱函妮出版社:玉山社出版日期:2017/01/05发明「Y字