机器之心报道

参与：思源、一鸣、Jamin
NeurlPS 2020 将于 12 月开幕，为了解决暴增的投稿数等问题，官方公布了一系列新的变动。
NeurlPS 2020 将在今年 12 月召开，今年的投稿、审稿、大会等方面政策是否会有所变动引起人们的关注。新的政策变化是否能够避免投稿过多、审稿不专业等问题？近日，NeurlPS 官方公开了新一届大会的变化：投稿截止日期提前；有部分论文会被提前拒绝；而绝大多数作者可能会参与审稿工作。
太长不读版：
  1. 今年摘要提交的截稿日期提前到 2020 年 5 月 5 日，而论文提交的截止日期是 2020 年 5 月 12 日，此次调整目的是为了让社区能够合理的处理完增加的投稿量，以及配合提前拒稿这一新政策。
  2. 提前拒稿：领域主席会有两个星期时间去建议哪些论文会被提前拒绝，而且目前预计将有 20% 左右的论文会被提前拒绝。紧接着高级领域主席会有一个星期的时间来审核及批准这一决定。批准之后，这些论文作者将会得到通知。
  3. 作者也是审稿人：此次改变提出，在需要时，论文作者或联合作者都需要同意审稿。这一改变有助于增加审稿人员的总量，并可以在提交论文的员中更加公平地分配审稿的工作量。
  4. 更广泛的影响：作者被要求在他们提交的文件中包含新的讨论部分，而讨论部分是关于他们的研究工作可能产生的影响，包括一些可能导致的正面的或者负面的社会影响。
  5. Spotlight 视频：社区要求所有作者在提交作品时都上传一段视频，主要是记录该工作的 Spotlight 展示，该视频和 camera-ready 版论文一同提交。同时，社区也在推进远程演示以及远程参会，他们也能看到这样的视频展示。
NeurIPS 2019 的尝试
早在 2019 年 12 月份，NeurIPS 就回顾并分析了 2019 年的会议情况。他们重点分析了论文提交与评审情况，并考虑采取一些措施限制投稿量。在当时的官方博客中，大会放出了一些「如果采纳部分建议后」的假设结果。
  1. 审稿之前，先让领域主席筛选：如果在审稿人接手论文之前先让领域主席筛选一遍，能不能有效减轻审稿人负担呢？
  2. 限制每个人的投稿数：AAAI 甚至已经规定了 2020 年每个作者最多提交 15 篇论文，所以，NeurIPS 也想测试一下这一做法。
  3. 只审吸引审稿人注意力的论文：引入市场机制来控制审稿量。只有那些引起了足够关注的投稿才会被审阅。
上面三个做法并不只是空谈，NeurIPS 在 2019 年做了一系列实验，并探讨它们能「有效」减少多少审稿任务。
例如领域主席预先筛选，他们选了 50% 的领域主席作为实验对象，给每个人分配一些论文，然后让他们在不看审稿意见的情况下，直接选出其中最差的 25%，还要给出每个意见的置信度。
图注：2019 领域主席预先审稿，置信度＞＝5 表示「我确定这篇论文应该被拒」。其最后采用为 2020 的审稿策略。
结果，这 50% 的领域主席给出了 110 篇「我确定这篇论文应该被拒」的论文。对比了最后确实被拒的论文，准确率也很高，达到 95.74%。但问题在于，即使筛掉这 110 篇，总共筛选出的论文也不到投稿量的 2%，占比太少了。
限制提交数也一样，如果将每人的投稿量上限设置为 15 篇，只能减少不到 100 份投稿（总数的 1.5%）。如果将这一上限设置为 10，则会减少 4.3% 的投稿（减少 850 次审稿工作），但这对最终的接受结果并没有太大的影响。
最后一种「市场机制」很难预测稿件最终的被接收情况，被接收论文和被拒论文在审稿阶段收获的关注相差无几。如果通过「市场机制」减少 1/4 的总投稿量，那么被接收的论文也会被「误杀」1/4。
所以要减轻审稿压力，似乎只能结合第一种与第二种，而在 NeurIPS 2020 的新策略中，提前拒绝就采用的领域主席预先筛选。
NeurIPS 2020 新策略
从 2019 年的探索到今年的策略调整，NeurIPS 官方最近介绍了最新策略的原因与具体措施。他们认为，目前有三个非常需要解决的问题：
  1. 日渐增长，且没有停止迹象的论文投稿数和参会者人数；
  2. 研究中需要注意的伦理问题和算法应用问题；
  3. 对于远程参会和参与的切实支持；
因此，他们针对这三个问题提出了对应的措施。
投稿者众
首先，NeurlPS 2020 大会亟待解决的是投稿数和参会人数暴增的问题。尽管大会过去几年已采取了很多措施，但依然没有很好地解决这个问题。官方认为，现在他们需要扩大审稿规模。
在 2020 年的大会上，官方预计会有 10000 件投稿，来自 3000 位作者。因此他们会提出进一步的规则变动。
首先，他们会引入「提前拒稿」机制。这是一个讨论了很久但没有实施的方法，直到 IJCAI 采用。这一方法也不是独创的——很多期刊都在使用。具体而言，当某个投稿质量很低，或者很不相关，就会被期刊编辑直接拒稿，不经过评审。
在 2020 年的大会投稿上，领域主席会首先评价他们手里的投稿，并挑出最多 20% 直接拒稿。然后这些投稿会交由高级领域主席进行确认。论文作者然后会得到通知。NeurlPS 表示他们希望论文作者能聚焦于少量优质论文，从而提升审稿效率。
另一个改动是要求投稿作者披露投稿是否是重投的，即是否曾被拒稿过。此外，他们还需要写一个总结，提及为什么这篇论文会被拒稿，并列举为了解决这些问题而对论文做出的改进。这一材料能够帮助审稿人更好地了解稿件的问题，并帮助作者提高论文质量。
参会者多
为了解决参会者众多这一问题，NeurIPS 2020 将鼓励远程参会。在过去几次会议中，参会门票很快就被抢光了，以至于不得不通过抽奖的方式分配门票。在 2019 年世界范围内的 Meetup，NeurIPS 发现这种线下分享的方式也非常优秀，因此 2020 年也会继续鼓励这种方式。
为了进一步提升远程访问内容的完整度，NeurIPS 要求今年的演讲者先上传一份关于论文的视频演讲，该视频与 camera-ready 版论文是同时提交的。
此外，参会者也可以选择是否使用论文匹配系统来阅读个性化推荐的论文，因为我们很难在众多论文中找到感兴趣的。后续 NeurIPS 还在探索远程演讲与海报展示的方法，它们能极大地提升远程参会体验。
审稿者也不少
为了提升同行评审系统，如果需要，NeurIPS 会要求每一位合著者担任程序委员会成员。NeurIPS 表明，他们在同行评审中走出了重要一步，即要求所有论文合著者注册 CMT 系统，并成为论文评审人。不遵守这项规定可能会导致他们的论文会被 desk-rejected。
如果合著者没在限期内注册 CMT，那么他们的论文不用审就可以直接拒绝。
通过这样的举措，论文评审者将大幅度增长，审稿压力也会降低很多。
额外新要求
最后，官方表示，NeurIPS 社区正在日益活跃。他们对研究者的热情参与，以及社区对长远问题提出新的策略和机制表示感谢。考虑到避免 AI 研究被滥用，或者因失败带来严重后果，官方也要求研究者在投稿时留出一个部分，介绍论文的长远影响。这部分内容不在 8 页论文的限制范围内。
此外，NeurIPS 还希望作者能披露直接或间接研究资金的来源，因为它们可能会导致利益冲突。这一项举措在物理、医药等领域已经非常成熟了，引入到机器学习社区也应该非常合适。该信息可能有损双盲审，因此只需要加到最后的 camera-ready 版本就行。
本文为机器之心报道，转载请联系本公众号获得授权。
✄------------------------------------------------
加入机器之心（全职记者 / 实习生）：[email protected]
投稿或寻求报道：content@jiqizhixin.com
广告 & 商务合作：[email protected]
继续阅读
阅读原文