月石一 发自 凹非寺

量子位 报道 | 公众号 QbitAI
Paper with Code发起了第5届机器学习再现性挑战（MLRC）。
这一次不仅支持的会议有所增加，挑战者还能获得500美元的资金支持！
接受挑战的论文，来自NeurIPS、ICML、ICLR、ACL、EMNLP、CVPR和ECCV多个会议，挑战者通过DAGsHub进行复现。

举办方发起此次挑战的目的，是为了鼓励发布和共享可靠和可重复的科学成果。

如何参与呢？一起来看。

流程与要求

挑战者需要从所支持会议的论文列表中获取论文，但是显示“已领取”的论文除外，而且每人最多只能复现2篇论文。
此外，挑战者还需加入Discord
社区
的#ml-reproducibility频道。

接着就到了复现这一步，挑战者用作者发布的现有代码，或设计一个执行程序，来
验证
论文的观点和结论。

并且要使用DAGsHub存储来托管数据、模型等，确保所有东西都是开源和可重复的。
然后，将发现和消融研究的内容，
总结
成DAGsHub页面。其中要涵盖这些内容：

这篇论文是否可复现？
是否发现了任何关键性的见解？
描述数据集（如果适用）：来源、数据类型、分布等。
描述数据处理方法（如果适用）。
描述模型：架构、性能等。
此外，挑战者需确保符合ML可重复性检查表的标准，符合要求的参与者将获得每篇论文500美元的支持。
最后，将结果
提交
到挑战活动，并作为DAGsHub项目，链接到这个项目的问题上，举办方将对DAGsHub项目进行审查。

作者有可能被选中，在DAGsHub社区和主页上进行介绍，也可能被邀请在专门的活动中分享工作。

网友：可发论文？

这项复现论文的活动在Reddit上引起了网友们的关注。
不少网友表示：想参加！
很想参加。如果复制一篇论文，然后结果在相同的超参数条件下不匹配，会发生什么:D？
一位网友回复说：那你就能发论文了……

我喜欢这个，很想参加。有没有可能计入博士学位的学分呢？
有网友表示，如果大学有这样的课程学分，那将是一个好主意，它可能比ML研究生的许多课程更有用。

不过，对于500美元的资金支持，也有人提出了不同观点。

一篇好的论文，不就是应该提供代码和数据，支持一键重新运行吗？这样（复现）很难成为一个项目。
这些提供高质量代码和数据的论文，难道该激励的不是它们吗？而不是那些承担作者责任的第三方。
不过大部分网友认为这项活动很有意义，其中一些人表示，机器学习领域的确有不少“无用论文”。

总是有论文说“相信我们这是有效的”，我们需要更多的论文来说明它们的失败。
根据我的经验，大多数度量学习深度模型都非常无用。
你怎么看？

时间安排

挑战现已开启，在截止时间（2021年7月15日太平洋夏令时间23:59）之前，挑战者可以随时提交报告。
考虑到编写报告和改进结果需要时间，因此在挑战截止日期后两周内，举办方将接受最终提交。
期刊特刊作者通知的截止日期为2021年9月30日。
想报名的小伙伴要抓紧时间啦~
参考链接：
[1]https://dagshub.com/pages/reproducibility-challenge
[2]https://dagshub.com/DAGsHub-Official/reproducibility-challenge/wiki/ML+Reproducibility+Challenge+Spring+2021
[3]https://paperswithcode.com/rc2020
[4]https://www.reddit.com/r/MachineLearning/comments/np6eph/d_supporting_the_ml_reproducibility_challenge/
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。
点这里👇关注我，记得标星哦～
英伟达CV公开课免费报名！
6月2日/下周三第2期直播中，英伟达专家将实战演示如何快速搭建面部情感识别系统，带大家低门槛、高效率学习AI模型的搭建、训练与部署。欢迎扫码报名~
p.s. 报名后还可入群获取其他课程回放、课程PPT、源代码哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见~
继续阅读
阅读原文