天才制造者：独行侠、科技巨头和AI｜深度学习崛起十年

来源｜The Robot Brains Podcast

翻译｜沈佳丽、胡燕君、贾川

一次技术蓬勃的背后，必然需要长时间的酝酿，更离不开决定这一爆发瞬间的少数关键人物。正因有了那些特立独行的天才，他们的出现必将影响这一领域的发展方向，甚至决定未来科技发展的历史进程。

回望深度学习领域，过去的黄金十年群星闪耀。

自1956年提出人工智能概念之后，在其发展的大约60年时间里，经历了三起三落。其中，2012年，以AlexNet为代表的深度神经网络所带来的震撼性“ImageNet时刻”，让AI发展彻底突飞猛进。

（从左到右依次为Ilya Sutskever、Alex Krizhevsky和Geoffrey Hinton）

当时，经过50年的刻苦研究，时任多伦多大学教授的Geoffrey Hinton和他的两名博士生Ilya Sutskever、Alex Krizhevsky终于发现，只要借助两样东西就能让神经网络成功识别出图片中的物体：一是数据，也就是海量的图片，因此数据集对他们的研究至关重要；二是强大的计算处理能力。

2012年，他们终于集齐了这两大“利器”：斯坦福大学教授李飞飞创建的ImageNet数据集，初衷就是为了帮助人们研发出可识别图片中物体的技术，并且每一年都会举办公开比赛；另一方面，Alex发现，他写的GPU代码可以训练一个小型卷积网络，并在60秒内输出很不错的结果。

既有Hinton和Ilya、Alex这样愿意潜心做研究的人，再加上海量数据和强大处理能力的加持，可以说，神经网络技术已拥有天时地利人和。然而，当时大多数人并不相信神经网络，并质疑深度学习的原理，认为这只是一个美好的畅想，实际上毫无用处。

不过，在那一年的ImageNet竞赛上，神经网络AlexNet识别物体的准确率远超其他方法，在比赛中一举夺魁，人们由此真正认识并承认神经网络的强大。

除了展示神经网络的强大能量，Hinton和他的团队还积极地将其推广到工业领域。2013年初，以Google、微软、DeepMind、百度等为代表的科技公司纷纷加入了“收购”Hinton三人组公司DNN Research的竞拍战中，最终Google以4400万美元的“天价”将其收入囊中。

由此，AI在业界的声量愈响。在这个领域默默耕耘多年的更多守望者和开拓者走入舞台中央，尽享赞誉，更多才华横溢的新人不断涌现，为AI的发展推波助澜。

可以说，如果没有这些脚踏实地的独行侠，没有他们的坚守，就没有新一轮AI的盛宴，我们现在所从事的AI事业将无从谈起，当然，一个叫OneFlow的开源深度学习框架也不复存在。

站在深度学习崛起十年的节点上，相信依然很多人存在依然对这些问题好奇：究竟是什么让他们如此笃信神经网络和AI技术的潜力？又是什么铸就了深度学习发展的黄金十年？

在Pieter Abbeel主持的The Robot Brains Podcast节目中，以科技作者Cade Metz的《天才制造者：那些为Google、Facebook和这个世界带来人工智能的独行侠们》一书为背景，Pieter Abbeel与Cade Metz分享了Geoffrey Hinton、Yann LeCun、IIya Sutskever、李飞飞、马斯克等重要人物，以及Google、DeepMind和OpenAI等机构之间发生的鲜为人知的故事，并探讨了科技巨头和中美之间的AI人才“军备竞赛”。

从中，我们将一窥见AI浪潮崛起的脉络，以及技术创新从诞生到爆发的跌宕起伏的过程。希望身处AI领域的我们也能追随前人脚步，成就伟大。

以下是对话内容，OneFlow社区做了不改变原意的编译。

1

吴恩达：神经网络将改写Google的命运

Pieter Abbeel：过去十年，AI行业发生了转变。2012年以前，语音识别、图像识别、机器翻译、自然语言处理和机器人技术等不同领域几乎都是孤军奋战。直到深度学习开始训练大型神经网络之后，一些领域才转而开始合作，尽管仍有少数领域仍对神经网络技术存疑，但总的来说，协作态势基本形成。比如，视觉研究人员开始阅读语言类论文，语言研究人员也开始读机器人技术类论文，以从其他领域获取灵感。那时，吴恩达（Andrew Ng）在研究如何将人工智能和人脑研究相结合。

Cade Metz：这要追溯到20世纪50年代，我们想模拟大脑中的神经元网络来建立一个系统，这也是神经网络名字的由来。有意思的是，我们要告诉那些不了解深度学习的人，其实我们并不清楚人脑是如何运作的，也不知道如何根据大脑来构建系统。

人工神经网络模拟大脑，这只是一个类比，但某些人的眼光的确比一般人更加长远。Hinton等人这些年来一直相信这个类比，吴恩达也是如此。

神经网络研究在21世纪初刚刚复兴时，吴恩达在斯坦福大学就给学生说过，世界上一定有人知道怎样开展神经网络工作，那个人就是Yann LeCun。几年后，吴恩达加入了Hinton在加拿大组建的研究团队，是少数真正参与到神经网络研究的人。他和LeCun也是团队中为数不多的美国人。

随后，吴恩达将这一想法分享给了时任Google CEO兼联合创始人Larry Page，他告诉后者，神经网络技术将不仅推动语音识别和图像识别的进展，甚至将彻底改写Google的命运。他还说，神经网络技术就是在重建大脑，并且他提到了AGI（通用人工智能）的概念，即只要是大脑能够做的工作，AGI都能胜任。其实，我很好奇AGI究竟是如何运作的。

Pieter Abbeel：任何与吴恩达共事的人都会发现他很出色，他也是一位优秀的博士生导师。

2

图灵奖得主Hinton和LeCun的信念

Pieter Abbeel：Hinton也非常优秀，他能取得成功，其实不足为奇。他待人处事很好，回想我第一次见到他，他就很热情地攀谈我的研究。他居然还做过一年木匠，但又回到了伦敦转学心理学。虽然他是计算机科学教授，但并没有取得相关学位，而是只有心理学学位。

Cade Metz：Hinton在很多方面的表现都让我们感到不可思议。他在1971年提出了神经网络这个惊人的想法，那时几乎没人相信他，但他还是对神经网络有着不可动摇的信念。

Pieter Abbeel：他是在1950年代第一个提出要研究神经网络的人。当时，大家都认为神经网络不值得再去研究，但他还是毅然决定投身到这项伟大的事业。

Cade Metz：接下来的50年里，他一直潜心研究神经网络从未动摇，并且一直努力朝着新的方向前进，即使身边的人都不相信。这简直是个传奇故事。

后来，他想找一些志同道合的人一起研究神经网络，所以最终来到位于匹兹堡的卡内基梅隆大学。在那里，他和合作者取得了重大突破，至此神经网络研究迈上了新台阶。他们还提出了反向传播（back-propagation）的想法，奠定了当下神经网络的运作方式。

不过，Hinton还是离开了美国，因为他发现在美国和卡耐基梅隆大学做人工智能研究，就必须从时任总统里根管理下的国防部获取资金。但他和妻子都不想那样做，于是他们决定前往加拿大，这改变了我们今天所说的“地缘政治”。

Pieter Abbeel : 他“逃离”美国的决定为后续的发展埋下了种子，也解释了为什么我们说现代AI发展始于加拿大。

Cade Metz：我们也在思考Hinton和妻子当年离开美国的这个决定是如何影响了此后AI发展的几十年。究其原因，还是因为美国当时几乎没人研究神经网络，从事这项工作的研究人员都在加拿大或欧洲。实际上，他们夫妻俩离开美国的决定也导致“ImageNet时刻”出现后，科技巨头必须去其他地方才能搜罗到自己想要的人才。

Piet