温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

昨日种种已得奖,那深度学习三巨头今天在忙什么?

发布时间:2020-08-10 22:13:42 来源:ITPUB博客 阅读:145 作者:naojiti 栏目:互联网科技

上周,AI圈最大的事情,没有之一,就是图灵奖,终于终于,终于颁给了深度学习三巨头。

关于Geoffrey Hinton和他的两位学生Yoshua Bengio、Yann LeCun的故事,在消息出来后的几天里,理所当然完成了刷屏。

即使AI从业者和爱好者基本已经对这三位的事迹耳熟能详,但他们“高举着火焰,冲过了最黑暗的时代”的英雄主义情结,还是能够轻易让远离AI世界的人们动容。

“三巨头”和深度学习的经历,事实上是一幕从学术边缘开始,在产业狂欢中自证,再回头征服主流学术界的故事。起伏线索简直比好莱坞大片还要好莱坞。

然而现实人生和电影最大的区别或许在于,电影可以在高潮处戛然而止,留给观众意味深长的壮美。但生活还要继续,日子还得过,AI还得发展。深度学习并不会因为图灵奖的到来而画上圆满的句号。

昨日种种已得奖,那深度学习三巨头今天在忙什么?

如果说三巨头在全世界都不相信深度学习时的执拗,最终换来了图灵奖和一句句“泰斗”的赞美声;那么我们今天更应该留意的,或许是在深度学习如日中天的现在,三巨头又在忙活着什么?他们现在所忙的,是不是又映射着AI的未来?

咱们不妨换个角度,不说他们可歌可泣的当年,而是聊聊三巨头的现在。

需要注意的是,这里并不打算把三人及团队的每一篇论文都整理出来,而是希望从他们在AI爆发之际的选择,读出些许关于深度学习未来走势与先天不足的底层规律。

Yann LeCun:产学候鸟与AI圈鲁迅

三巨头中最频繁活跃在大众视线里的,是Yann LeCun。

为什么很多不认识Hinton的人也认识Yann LeCun?这个AI界的未解之谜有很多解释。

不靠谱的解释包括,Yann LeCun这个名字非常适合写成杨丽坤,所以好记。再比如说他的招牌式笑容很容易让人觉得AI没那么枯燥。

昨日种种已得奖,那深度学习三巨头今天在忙什么?

而靠谱的解释是,Yann LeCun是三人中进入产业世界程度最深的那一位,甚至一度被视作AI科学家走向商业世界的代表人物。

2013年,Yann LeCun突然加入Facebook是一件非常有爆炸力的事。大家既不理解Facebook要AI科学家干嘛,也不明白Yann LeCun去一个社交媒体做什么。

来到Facebook之后,Yann LeCun一手创立了FAIR。这不是个律师事务所,而是Facebook人工智能实验室。

必须要承认,作为FAIR一把手的Yann LeCun,在那几年间是有不少作为的。比如大幅度提升了Facebook的自动化运营能力,提高了广告等Facebook生命线的智能化程度。而另一方面,充满理想主义精神和学者气息的Yann LeCun还把FAIR搞成了硅谷最有乌托邦味道的实验室之一。

在Facebook,FAIR的专家们关注那些天马行空的前瞻性技术,以及AI如何在未来造福全人类。在扎克伯格的默许与支持下,FAIR的红火甚至一度被认为是硅谷的工程师文化要向科学家文化交枪。

此外,Yann LeCun个人魅力也成为Facebook快速招到顶级科学家的利器,5年中,FAIR扩大到6个办公地点,有近100名研究员。与吴恩达、李飞飞并列,Yann LeCun也被称为由学校到企业的三位AI明星之一。

但随着团队规模的不断扩大,Yann LeCun作为理想派科学家,逐渐暴露出了团队管理能力的不足。加上2017年Facebook风雨飘摇,在整体业务改革之后,业务线开始向FAIR索取更多直接的、有助于提升业务质量或者变现能力的技术——而这并非Yann LeCun所愿与所长。

始终保留着纽约大学教职的Yann LeCun,在2018年1月宣布辞去了FAIR负责人的职务,转向幕后担任首席科学家。而这也被外界解读为一个信号:似乎和吴恩达、李飞飞一样,顶级科学家真的不那么容易在大企业高管的位置上长治久安。

而在产业的探索之外,Yann LeCun的另一个人设,堪称AI圈里的鲁迅——路见不平一声twitter,该骂你时候绝不休息。

不少人感觉Yann LeCun有点过于“好作惊人语”,但其实要看到更大的背景在于,今天围绕着深度学习到底是什么,未来会怎么发展,以及AI有没有用等一系列问题,滋生出了无尽的争议。

而作为AI行内最大的明星之一,Yann LeCun似乎也在某种程度上有义务出来正本清源。

让咱们回顾一下让Yann LeCun启动开怼模式的三件事:

1、对著名的人形机器人,全球首位“机器公民“索菲亚。Yann LeCun怒斥其为 “彻头彻尾的骗局”“完全是胡说八道”。在Yann LeCun看来,所谓索菲亚不过是一具放录音的模型而已,对它的“物体崇拜”会让人们觉得AI就是在变戏法。真正的AI想要达到婴儿甚至动物的智商,还要走很远的路。

昨日种种已得奖,那深度学习三巨头今天在忙什么?

2、硅谷钢铁侠马斯克,近两年的爱好是到处说AI就要毁灭人类了。Yann LeCun认为这种说法非常不负责任。在他看来,马斯克就是跟一些乐观派的科学家聊天,又回家看了一些想象成分居多的书,然后就产生了《终结者》马上要实现的想法。加上众所周知马斯克总想拯救人类,最后导致了我们听到的那些声音。而在Yann LeCun看来,科学家是知道那种强AI不太可能在几年内实现的,马斯克的言论是在散布恐慌。

昨日种种已得奖,那深度学习三巨头今天在忙什么?

3、去年,一位计算机视觉专家Filip Piekniewski连续发表了《深度学习已死》之类的“雄文”,高唱深度学习泡沫要破。Yann LeCun则马上开启了回怼模式,直言作者“非常无知”,指出这位作者首先没有看到学术和产业界的现实,其次用一些无关的证据强行证明AI“寒冬来了”的结论。比如作者提到AI药丸,一大证据是AI科学家发twitter少了——气的Yann LeCun赶紧发了一堆twitter。

总结一下,会发现Yann LeCun开怼的主要是三种声音:假AI、AI威胁论,AI寒冬论。

其实环顾左右,这三种论调是不是也飘散于我们身边呢?

Yoshua Bengio:保卫象牙塔,镇守加拿大

说了最高调的,再说说最低调的Yoshua Bengio。

之所以说他低调,是因为Yoshua Bengio可说是三巨头中最不愿意探索产业世界的一位。他在必然出现的重金诱惑面前,也没有加入那几家我们耳熟能详的科技巨头,而是选择继续留在蒙特利尔大学的象牙塔里,享受着加拿大的好山好水。

昨日种种已得奖,那深度学习三巨头今天在忙什么?

然而随着自己发明的深度学习越来越火,Yoshua Bengio发现事情并不简单。科技巨头和投资人开始疯狂向学校抢人。深度学习方向的博士变成了炙手可热的香饽饽,直到Yoshua Bengio发现,他还没毕业的博士都已经被饥渴的科技公司瓜分干净。这位科学家决心要保卫象牙塔的纯净。

他的办法是,自己开一家公司……

咳咳,事实上,Yoshua Bengio是在几位合伙人的劝说下,决定共同建立一个新型的产学一体化机构。我们知道AI界有著名的OpenAI,专注无不商业目标的开源项目,让科学家能在企业完成自己的梦想。

而Yoshua Bengio与合伙人联合创立的Element AI,则反其道而行之。它致力于让AI科学家们可以直接参与商业项目,获取相关回报,但同时能够保留教职——比如每周只用抽出几个小时来来Element AI干活,大家一起做做项目赚赚外快就行了。

昨日种种已得奖,那深度学习三巨头今天在忙什么?

这种有点像AI科学家在线兼职的模式,可以有效解决一个问题:创业企业和传统企业,根本无力与科技巨头争抢AI人才,但他们却实打实地需要AI人才来帮忙。这样一种模式可谓两全其美。

很快,Element AI就获得了微软的投资,现在在深入各行业定制AI解决方案之外,也开始与大公司的联合科研,以及对优质AI项目进行投资和技术帮助。而对于客户来说,Yoshua Bengio本人就是商业合作上的金字招牌。

Yoshua Bengio的另一个工作重心,是学校里的蒙特利尔学习算法研究所(MILA)。MILA和Element AI一学一产,构成了蒙特利尔AI产业的双核驱动。今天,加拿大AI的快速发展,以及蒙特利尔被称为AI时代的硅谷,都与Yoshua Bengio的工作紧密相关。

嗯,至少目前来看,这位象牙塔守护者,加拿大AI之星,还是比较好地完成了任务。

Yoshua Bengio还有一项比较出名的行动,是在AI社会责任与公益领域广泛担当呼吁者。比如他带头反对谷歌的军方项目,呼吁终止AI武器化。并且积极推动关注AI中的歧视与不公平问题。

假如给Yoshua Bengio近年来的工作打上三个标签,那就是:学术的,公益的,加拿大的……

Geoffrey Hinton:怀疑者,依旧怀疑

与两位50多岁的学生相比,已经72岁的老师Hinton,似乎应该闲下来,享受“AI教父“的尊名,指导指导学生,筹划一下传记。

然而事实并非如此,Geoffrey Hinton今天依旧在保持高强度的工作。被腰间盘疾病困扰的他,甚至必须要站着完成所有研究。与两位学生和大部分功成名就的同行相比,Hinton更像是工作在AI一线的那一个。

昨日种种已得奖,那深度学习三巨头今天在忙什么?

简单来说,那个又倔又横的小伙子,如今变成了个又倔又横的老头。

曾经在一次采访中,Geoffrey Hinton被问到为什么能在几十年的不被重视中坚持下来,他的回答非常酷也非常Hinton。他说:

“他们都错了。”

直到今天,Hinton还是认为有可能所有人都错了,包括他自己。

1986年,Hinton发表了《Learning representations by back-propagation errors》,这是Hinton一生的代表作之一,标志着反向传播算法被引进深度学习,今天来看有着跨时代的意义。

然而Hinton在近两年却频频表示,反向传播有可能存在这巨大的缺陷。他不但自己尝试了多种方式突破它,还将大量相关研究综合起来,写论文对比如何摆脱反向传播的窠臼——直到现在,他还没有超越自己,但并不代表以后不能。

Geoffrey Hinton是一个彻头彻尾的怀疑者,这点并没有因为他变成“泰斗”而改变。

在产业世界,Hinton的主要工作在谷歌大脑。近两年,TensorFlow的简化升级,谷歌大脑的AI能力拓展,背后都有Hinton与团队的身影。

而作为“教父”一样的存在,Hinton更被人关注的是在AI学术领域不断提出的颠覆性观点。恰好这又是一个乐于颠覆自己和其他人工作的人。

2017年年底,Hinton发表了名为胶囊网络Capsule Networks的方案,被广泛认为将改写深度学习的发展轨迹。

胶囊网络所针对的,是卷积神经网络的操作模式。传统的深度学习算法中,每一层神经网络必须做同样的卷积运算。而胶囊网络则认为,不同的神经元可以携带不同属性,这就像人脑中的不同区域负责不同的工作。

这种将深度学习进行稀疏激活的颠覆式方案,目前已经被证明可以在图像识别领域达成创新。不少人相信,胶囊网络未来会成为AI可解释、AI被赋予常识的关键技术。

近几年,Hinton带来的另一个颠覆,是在暗知识提取dark knowledge extraction领域不间断的工作。一般来说,深度学习获取抽象特征,是建立在庞大的数据运算基础上的。而这会导致AI必须消耗大量的数据和算力来反复完成训练。而暗知识提取,或者叫知识蒸馏,则致力于让智能体之间可以提取隐藏的知识,把一部分知识留存到子深度学习系统,最终达成智能体摆脱庞大的算力与数据渴求,触及相对先天的“智能”。

可以看到,Hinton在今天依旧那么硬核。很多在AI世界看似常识的东西,AI之父却压根不相信它,并且在反复挑战。

AI走到头了吗?深度学习是最终解法吗?这老头一辈子从来没相信过大多数人的判断。

三巨头的今天:深度学习,从1到很多

假如说,三巨头高举火把,四下无人的那些年,是深度学习从0到1的时代。

那么今天全世界的深度学习热, 毫无疑问标志着深度学习开始从1到N。然而从三巨头今天的工作来看,它也仅仅才到1而已。

昨日种种已得奖,那深度学习三巨头今天在忙什么?

不知道大家注意到没有,三巨头今天主要关注的方向,恰恰对应着以深度学习为代表的这一次AI复兴,所携带的先天不足,以及后天激发的问题。把三巨头的工作强行合并,可以看到这样几个方向:

1、AI到底是空谈还是事实?解决这个问题,必须把深度学习扔到产业熔炉当中,在算力、数据和应用场景里,检验深度学习到底能干什么。而这也是大量AI科学家必须去企业的逻辑之一。

2、AI火了之后,各种乱七八糟的事情一定会出来飞舞,需要有人把火车拉回轨道。Yann LeCun在社交媒体上四面开火就是因为这个。索菲亚的把戏、马斯克的AI威胁论,以及“AI寒冬又来了”,这几个说法今天在中国一定有大批拥护者。不难看出问题还是挺尖锐的。

3、AI的人才匹配与平衡问题。这轮AI复兴的一个特征,是高度的产学一体化,导致学术人才可以直接与应用打通。然而学术人才如何在产业诱惑面前保持学术追求,产业如何在巨头争抢下获得AI人才帮助,这个问题在中国同样存在。

4、深度学习是把双刃剑,军事化、歧视与不公、因素安全等问题随之产生。AI的社会责任,是一个刻不容缓的矛盾。

5、深度学习,不是终点。反向传播,多层神经网络等等技术模式构成了我们习以为常的那个“AI”。但是深度学习依旧有大量问题存在,比如黑箱性,迁移能力差,高消耗等等。我们是把今天的AI当成原教旨,还是继续挑战,寻找更上层的终点?这点Hinton这位“深度学习之父”真是带了个好头。

功绩当然伟大,问题还有一堆。今天,三巨头还在工作,他们在为他们的造物负责。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI