热点滚动 :
当前位置 主页 > 信息动态 >

动态 「深度学习才不是炼金术」Yann

  原标题:动态 「深度学习才不是炼金术」,Yann LeCun 为这个和 NIPS 获奖论文作者掐起来了

  AI 科技评论按:被大家誉为深度学习三驾马车之一的 Yann LeCun 喜欢跟人争执的名声可算越传越广了。这几天,动态 「深度学习才不是炼金术」Yann LeCun 为这个和 NIPS 获奖论文作者掐起来了LeCun 和 NIPS 2017「时间检验奖」论文作者之一的 Ali Rahimi 就在 Facebook 上掐了起来。

  在 12 月 5 日的 NIPS 2017 开幕仪式上,NIPS 2007 收录的「Random Features for Large-Scale Kernel Machines」获得了「时间检验奖」Test of Time Award,这是 NIPS 2017 评审委员会认为影响最深远的十年前的论文。论文作者之一的 Ali Rahimi 也发表了精彩的论文解读和获奖演讲 从「炼金术」到「电力」的机器学习。在演讲中,Ali Rahimi 回顾了其十年前顶着「学术警察」对于机器学习这门新学科的质疑前进的过程,并提出经过十年的发展,机器学习需要从野蛮生长到建立一个完整的体系的过程,并号召大家去为机器学习的理论框架添砖加瓦。

  演讲获得了现场听众的高度认可,AI 科技评论记者遇到 AAAI 主席 Subbarao Kambhampati 的时候,他也表示非常赞同 Ali Rahimi 的观点。不过意外的是,Yann LeCun 觉得自己被冒犯了,他非常不喜欢演讲中把深度学习称作「炼金术」的说法。Yann LeCun 在自己 Facebook 上发出一条长动态清晰地表达了自己的观点:

  Ali 的演讲非常有趣,他的意思也讲得很清楚。不过他想表达的东西我从根本上就不太同意。重点来说,他表达的意思是目前我们在机器学习方面的实践就和「炼金术」差不多(他的原话)。这摆明了就是侮辱。不过也不担心,因为机器学习并不是「炼金术」。

  Ali 说,目前在机器学习中使用的许多方法,人们都缺少(理论性的)理解,尤其是在深度学习领域。

  能够让人理解(不管是理论角度还是别的)当然是一件好事。让方法变得越来越能被人们理解,也是包括我在内的许多研究者活跃在 NIPS 大家庭中的原因。

  不过我们也有另一个重要的目标,那就是开发新的方法、新的技术,就像 Ali 说的,新的把戏。在科学技术的历史上,工程方面的产品总是要先于理论理解一步:镜片和望远镜先于光学理论问世,蒸汽机先于热动力学问世,飞机先于飞行空气动力学问世,无线电和数据通讯先于信息论问世,计算机先于计算机科学问世。

  为什么?因为理论研究者会自发地先研究那些「简单」的现象,只有当复杂的问题开始有了重要的实践意义的时候他们才会转移注意力。

  仅仅因为我们目前的理论工具还没有赶上实践的脚步就把一整个研究大家庭批评为一群「炼金术」的执行者(况且这个大家庭做机器学习做得也相当不错),这是很危险的。为什么危险?因为十多年钱,在即便有充足的经验证据证明神经网络在许多情况下可以运行得很好的情况下,还是让机器学习大家庭放弃神经网络的恰恰就是这样的态度。神经网络,带有非凸的损失函数,当时没人能保证它们可以收敛(然而当时它们就实际上可以收敛,就和现在一样)。所以人们就在倒洗澡水的时候,把盆里的小孩也一起倒掉了,把注意力全都放在了「可以证明」为凸的方法或者曾经辉煌过的样板匹配方法上(甚至是从 1957 年传下来的随机特征方法)。持续不断研究的某一组方法,仅仅是因为它们可以用理论描述;同时忽略一组实际上效果更好的方法,仅仅是因为(当时还)不能从理论角度理解它们,就好像在路灯的光下找车钥匙,即便你知道你的车钥匙是在别的地方丢的。没错,我们确实需要对我们的方法有更多的理解,但是正确的态度应当是尝试改善这个状况,而不是出口冒犯整个大家庭,只是因为他们还没成功。这不就和批评改良蒸汽机的瓦特没成为热力学学者卡诺或者没成为物理学家赫尔姆霍茨一样么。

  我自己组织以及参与了数不清的 workshop,它们把许多深度学习的学习者和理论研究者聚到一起,他们中的许多人是 IPAM(UCLA 应用数学研究院)的成员。作为 IPAM 的科学顾问委员会成员之一,如何让深度学习引起数学研究员们的兴趣也是我考虑的重要任务之一。实际上,2018 年 2 月在 IPAM 上就有一个这样的 workshop,我就是协办者之一。Ali,如果在你天天要用的这些方法上,你觉得我们的理解不能让你满意,那就来动手改善状况:你可以开始研究深度学习的理论,而不是报怨别人不做这些事;不要说以前的 NIPS 上只研究「理论上正确」的方法的时候就如何如何比现在的更。

相关文章