©作者 | Erutan Lai
单位 | 北京大学博士
研究方向 | 自然语言处理
想必很多同学都会感到好奇，论文投稿之后会经历什么？ 
写这篇文章，就我所知的，简单科普一下。毕竟没当过大 Chair，有些环节我也不太了解，如有疏漏在所难免，欢迎指正。 
每个会议，甚至同一个会议不同年份，都会略有差别。所以本文主要就 2024 年 2 月 ACL ARR（ACL 2024）的投稿流程为例，讲讲顶会论文投稿之后会发生的事情。
截稿前后
截稿时间一般可以参考 Call For Papers。ACL ARR 2024 Feb.的截稿时间是 2 月 15 日，这个时间时 AoE（Anywhere on Earth）的时区，也就是 UTC-12 的时区，比北京时间晚 20 小时。也就是北京时间次日的晚 8 点。后面我们说的都还是按照 ACL 官方的 AoE 时间来说，这样比较方便。
https://aclrollingreview.org/cfp
早在截稿日期之间，会议的 AC/AE（Area Chair，Action Editor，后文统称AC），以及审稿人（Reviewer）就会收到邀请。并且随着提交量的增加，还会陆续邀请更多的 AC 和审稿人来确保文章都能按时收到 Review 和 Meta-Review。 
根据官方统计，这次 ARR 投稿量创新高，达到 4835 篇。相比 2023 年 12 月（历史第三）的投稿量增长了 86%。其中只有 13% 是修改后重投，其余均为新稿。为了处理这些投稿，共有 4205 个审稿人分配了稿件（增长 37%），并对应 659 名 AC（增长 45%）。
http://stats.aclrollingreview.org/
很多作者应该也发现了，无论是提交还是修改稿件，所有作者都会收到邮件提醒。因此，你想背着导师送他一篇 ACL，是不太可能的。当然，这也是违反学术规范的。
审稿开始前
2 月 15 日投稿，2 月 26 日才开始审稿，这中间发生了什么？
随着投稿的进行，除了邀请新的审稿人和 AC 外，也会要求部分现有的审稿人和 AC 调整领域以更好地适应投稿的分布。这会一直持续到截稿之后。比如这次 ARR 审稿人相对稀缺的领域：
2 月 23 日之前，匹配和论文 SAC 及 AC。2 月 23 日~26 日，匹配论文和 Reviewer。 
从论文的角度，会先做一轮 desk reject，并将论文分配给 SAC/AC。程序的自动 desk reject 只能识别部分明显的情况，比如论文就写了一两页，明显没写完的。我猜用中文投稿的应该也能识别出来。部分超页数但不太明显的，或者保留了致谢暴露作者信息的，都需要后续的 AC 及审稿人手动处理。
然后会分配审稿人。AC 可以看到每个审稿人的信息，并可以手动修改审稿人的分配。这些修改可能是从审稿人专业性的角度，或者审稿人 diversity 的角度。但一般没人改。懒。 
AC 需要填一个 AE Checklist，例如这样：
审稿人在审稿前也要填一个 Reviewer Checklist，例如这样：
这个 Reviewer Checklist 也可以当做审稿人的签到表，因为相对比较好填。理论上，审稿人如果没能在审稿的前一两周完成，AC 可以认为审稿人没看见，来重新分配审稿人。但实际上，很多审稿人都忘记填这个了，AC 也没那个功夫盯这个。 
实际上，这次也没能 26 日就开始审稿，还是晚了几天，3 月 1 日才开始。
审稿中
随着前面流程的推迟，审稿的窗口期也一直在变。会前规划的是 2.26~3.18；开始审稿时的是 3.1~3.20，而实际上，审稿直到 3 月 27 日开始 Rebuttal 后才基本完成。 
3 月 11 日，理论上审稿流程过半，实际上只收到 7% 的审稿意见。 
3 月 15 日，理论上还有 5 天审稿结束，实际上只收到 15% 的审稿意见。甚至有 80 篇 AE checklist 没有收到。
3 月 18 日，理论上不再分配新的审稿人，但实际上还有大量的审稿人没有提交审稿意见。 
3 月 20 日，理论上的审稿 DDL，实际上 AC 开始用个人邮箱给审稿人发邮件催（以免进垃圾邮箱），并为 24 小时内没有回应的论文分配新的审稿人。（有些审稿人这个环节没有回应，但后面又交了，导致论文有 4 个审稿人）。
审稿人需要注意的是，如果分配的论文数没有达到 max-load，这个阶段 AC 是可以无需邀请直接分配论文的。分配论文数是可以修改的。如果最开始设置的数很大，又没分多少篇的话，记得把 max-load 调小，以免最后时刻被分配一堆论文。 
3 月 26 日，公布审稿意见（理论上应该 3 月 24 日公布）。 
3 月 29 日，审稿意见回收率达到约 99%。剩下的 1% 的审稿意见尽量在 48 小时内收回。 
以上都是在假设 AC 还在的情况下。但就像审稿人可能失踪一样，AC 也可能失踪。这时就需要 ARR 的 SAC、PC 等人去找 Emergency AC 来处理论文并撰写后面的 meta-review。 
关于审稿，实际上一篇论文的能花 4~6 个小时，就算审的很认真了。而短的话，甚至花不到 1 个小时。 
我一般会快速看一遍摘要和引言部分。看动机/故事是否合理；贡献总结得是否有价值。然后看后面的方法和实验，主要看贡献是否被足够地支撑了。部分文章会看下实验结果和 baseline 是否 solid。过程中会关注下 typo。看完之后，看看优点多还是缺点多，是中还是拒。 
当然，现在如果有 ChatGPT 的话，还能替代不少审稿环节。 审稿人打分表（2 分是明确的负分。3 分对于 Findings 和 workshop 来说是明确的正分。）：
https://aclrollingreview.org/reviewform
我之前也写过一篇关于审稿的回答：
https://www.zhihu.com/question/26445454/answer/2027658215
得到审稿意见后
审稿开始前，预计的 rebuttal 是 3.24-3.27，meta-review 4.4 给出。
审稿开始后，预计的 rebuttal 是 3.26-3.30，meta-review 4.7 给出。
实际上，rebuttal 持续到 4 月 2 日。meta-review 目前还在进程中。 
相比同期的 IJCAI 等会议，ARR 的审稿人还是非常热衷于回复 Rebuttal 的。有大概 1/3 的 Rebuttal 都得到了较为详细的回复，只有大概 1/3 的 Rebuttal 无人问津。 
而且，很多认真回复的论文都得到了涨分。我觉得主要是这次好多审稿人最初的打分偏低。  
AC 在给 Meta-Review 的时候，一般会考虑分数、每个审稿人列出的优缺点、以及 rebuttal 的回复。 
AC 一般没时间仔细看论文。甚至连 review 和 rebuttal 都没时间仔细看。比如我这里 7 篇没有撤稿的论文中，共有 137 个回帖（部分是 check list），根本看不过来。会比较关心 review 看完 rebuttal 之后的表态（问题是否被解决），有时也会看看 rebuttal 是否覆盖了 review 指出的所有缺点（是否有难以回答的缺点）。 
Meta Review 打分表：
https://aclrollingreview.org/actioneditorform
需要注意，publishable state 不止指主会，Findings 也算。所以 3 分对于主会而言不算是明确的正分。
我这次打的 meta 的分数中，meta=4 的有 2 篇：均分 3.3 的长文和均分 3 的短文；meta=3 的有 1 篇：均分 2.5 的长文；剩下的 meta 都是 2，均分：2.75/2.63/2.5/2.5。
meta 会考虑 review 的分数，但也不完全。比如我给 meta=3 的那篇是个还不错的数据集的文章，缺点不多，但最大的问题是特点也不够突出。但数据集也很难修改，给个 meta=3 希望他能 findings 出去。而 meta=2 的文章缺点都很明显，要么有致命问题，要么需要大改。不过，投稿 ACL 时除了 meta-review 之外，review 也会被考虑。所以拿到 4 分的 meta 也不算稳。
ACL 投稿
根据 ACL 的 call for papers，4 月 15 日之前在 ARR 上得到 Review 和 Meta-Review。4 月 20 日之前提交到 ACL。 
一般来说，这次提交到 ACL 是不允许修改的。因为 ACL 确定是否录用，主要基于 ARR 的审稿意见，如果有较大修改（大到会改变审稿意见的程度），需要再重投一轮 ARR 以获得新的审稿意见。如果修改小到不影响审稿意见，那也没啥必要。 
从 Meta-Review 的时间与提交 ACL 的 DDL 只差 5 天也能看出，是没有给大家安排充足的修改时间的。
https://2024.aclweb.org/calls/main_conference_papers/
提交到 ACL 之后，由 ACL 的 AC（相当于之前的 SAC）来根据 Meta-Review、Review 以及各个领域的平衡等因素确定录用（以及 Findings）。
ACL 一般不光会参考 Meta-Review，也会参考 Review 及论文内容。并且还受领域均分影响。所以，meta=4 分的文章连 Findings 都中不了，或者 meta=3 分的文章中主会都是有可能的。而 5 月 15 日就会得到录用与否的结果了。
下一轮ARR提交
如果对审稿意见不满意，可以修改论文之后再投一轮 ARR。
但比如对这次的 ARR 投稿，如果不是在投稿后就开始补实验修改，而是等到审稿意见出来之后再修改的话，不建议直接投 4 月的 ARR。审稿人和 AC 一般希望看到实质性的改动。如果没有实质性地解决上一轮审稿时提出的问题，再下一轮重审时一般也不会仔细重读文章，而是简单给一个和上次一样或者更低的分数。
ARR 2024 Feb.的结果
根据官方的最终统计：
http://stats.aclrollingreview.org/iterations/2024/february/
4835 篇论文投稿，408 篇（9.3%）撤稿，607 篇（13.8%）为修后重投，1904 篇（43.4%）选择在 arxiv 上提前公开（也是本轮开始允许的策略），858 篇（17.7%）被标记需要 Ethic Review。 
一共 4269 名审稿人与 710 名 AC 被分配了论文，每人分配的篇数统计如下：
论文的审稿分数如下图所示：
有 117 篇（2.7%）超过 3.75 分；719 篇（16.4%）超过 3.25 分；1999 篇（45.6%）超过 2.75 分。
根据往年的比例，超过 3.25 分的主会概率较大，超过 2.85 分的主会或 Findings 概率较大，低于 2.4 分的大概率中不了。有 1382 篇（31.5%）Meta>=4。Meta<=3 的中主会和 Findings 概率较小。
审稿进程如下图所示，可以看到，无论是审稿人还是 AC，DDL 都是第一生产力。
常见问题汇总
Q：投稿 DDL 之后是否可以修改作者？ 
一般不可以。包括增减作者，调整作者顺序，修改作者单位，一般都是不允许的。 
Q：现在取消匿名期了，论文在投稿前上传 arxiv 有何实际影响吗？ 
一般不会特意去查。但要是碰巧知道是谁投的，或许会有些先验。 
Q：Meta-Review 是什么？ 
审稿意见太长了，只看均分又不够精细。meta-reviewer/AC 是比较资深的审稿人（和之前的审稿人不同，相当于会换审稿人），根据若干条审稿意见，概括出一份精简版审稿意见，和一个针对论文的整体分数。 
这个精简版的内容，会给 senior-AC 去看，他们会从会议的角度，给出是否录用，如何录用的意见，并交给 PC 做最终决策。 
Q：均分和 Meta-Review 差异过大？
Meta-Review 是 AC 基于自己主管判断给出的，的确可能差异较大。而且，有可能虽然均分低，但 Meta 觉得论文没啥好改的，给到 4 分并推荐 Findings/Workshop 之类的。 
Q：分数是 XX，是否可能中？
一般只能说，均分>=3.5，meta=4 中的概率>80%。但中稿这事儿也是有很多外部因素和主观因素的。
一般 meta=3 中主会概率<25%，meta=2 中的概率<25%。均分<3 中主会的概率<25%。 
Q：投到 ACL 是是否可以修改？
一般不可以。 
Q：是否可以出分数后立刻投下一轮 ARR？
有时允许，但一般不建议。除非做出了实质性的修改。
更多阅读
#投 稿 通 道#
 让你的文字被更多人看到 
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：[email protected] 
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·
·
·
继续阅读
阅读原文