热点滚动 :
当前位置 主页 > 信息动态 >

【复现谷歌论文成为共同作者】Facebo

  原标题:【复现谷歌论文,成为共同作者】Facebook AI Lab负责人发起ICLR可重复性竞赛

  【新智元导读】如今机器学习论文可复现性低成了研究界愈发关注的问题。为此,Facebook蒙特利尔AI Lab负责人联合全球5所大学,发起了机器学习可复现挑战赛,让参与者复现ICLR-18提交的论文。今年参赛者主要是学生,他们将复现的研究来自世界各地,其中不乏顶级人工智能实验室的论文。不仅如此,如果复现结论对原论文贡献重大,在原作者的要求下,参赛者还有可能作为共同作者被接收。

  我们相信科学,因为我们可以验证科学结论的准确性。而验证准确性时,我们的方法是重复科学家的原始实验。那么,当原始实验无法复现的时候会发生什么呢?

  2016年,Nature杂志对1500多名科学家进行了调查,发现其中70%以上的科学家曾经尝试过重复科学期刊上发表的其他科学家的实验,但没有成功,一半以上的人甚至连自己的工作都无法重复。

  在人工智能的机器学习领域,实验无法复现的情况也在加剧。今年ICML会议接收的一份研究,分析了30篇AI研究论文,发现这些论文的作者在很大程度上隐去了他们训练和微调算法的关键部分,使得其他人难以复现其结果。

  Facebook蒙特利尔AI Lab负责人发起“反对不可复现AI研究运动”

  AI大规模产业化的兴起,让如今的AI实验室有很强烈的动机发布最先进的结果,尤其是那些可能难以复现的结果。能够提高精度,实现新功能,提高效率的研究,可以使实验室的母公司在云计算等服务中获得数百万美元的收入,由此获得的声誉也更容易招揽顶尖的人才。

  麦吉尔大学副教授兼Facebook蒙特利尔AI Lab负责人Joelle Pineau领头发起一项反不可复现AI研究的运动

  而麦吉尔大学(McGill University)副教授兼Facebook蒙特利尔AI Lab负责人Joelle Pineau,正在与全球其他五所大学的教授合作,发起一项反对不可复现的AI研究的运动。他们在ICLR 2018举办了一项竞赛,任何人都可以参加,但Pineau表示,第一年的竞赛核心参与者是学生。这些参与者的任务是复现提交给ICLR 2018的论文。ICLR 2018采用双盲评审机制,在OpenReview网站上,学生和其他人可以在每篇论文下面添加他们的发现和意见。

  “如果你在做科学,那么科学有一个过程,”Pineau说:“如果你建立的这些系统是别人无法建立的,那么你在做的就是生产伪科学,它也能提高我们的知识和理解,但这与得出科学结果是两码事。”

  参与这项竞赛的学生要复现的研究来自世界各地,其中不乏顶级人工智能实验室——从著名的高校到Google,DeepMind,Facebook,微软和亚马逊等科技巨人。

  Keele大学的博士生Babatunde Olorisade撰写了那篇对30篇AI研究论文进行分析的报告,Olorisade指出,大型科技公司在研究中使用的专有数据和信息在论文中没有,这一点正在使机器学习领域止步不前。

  Olorisade指出,【复现谷歌论文成为共同作者】Facebook AI Lab负责人发起ICLR可重复性竞赛实验时计算机运行的软件,以及该软件的配置和使用的数据都是复现实验室的必要因素,这样其他人才能了解实验的原理和过程。Olorisade说:“可验证的知识是科学的基础。在验证了某种说法后,你将能够更好地理解,甚至在此基础上发展出新的分支。”

  Pineau表示按预计这项可复现竞赛每年都将进行,这可以在AI界形成一种良性循环,学生学会审核研究,然后将他们在审核过程中学到的东西再带入学术界或工业界,开展其他可复现的研究。

  “我希望作者在结果和宣称方面将变得更谨慎,”Pineau说:“我希望一些作者会更多考虑公开源代码以及将开放代码作为科学过程的一部分。”

  通过上面的介绍,你应该对这项可复现性竞赛有了大致的了解,下面来看看具体的介绍:

  从2018年的ICLR提交论文(submissions)中选择一篇,然后复制其中所述的实验。你的目标是评估实验是否可复。

相关文章