MLNLP
社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。
转载自 | HFL实验室
ACL 2023程序委员会主席在近期的一篇博客中披露了ACL 2023大会关于审稿系统的改进措施，以进一步提升论文稿件与审稿人的匹配程度，提升论文审稿的。
原文：Paper-reviewer matching at ACL 2023: types of contributions and track sub-areas
作者：ACL 2023 Program Chairs
地址：https://2023.aclweb.org/blog/reviewer-assignment‍
•••
论文作者在NLP会议上经常抱怨的一个大问题是“meh🤷🏻‍♀️”评论：审稿人并没有发现论文方法或执行上存在重大问题，但还是给出了一个中等的评分。这可能是论文与审稿人不匹配的问题：审稿人可能对整个主题或者方法并不是很感兴趣，所以不论论文内容有多好，它都不会引起审稿人的太多兴趣。在最近的一次关于作者、审稿人和领域主席对最近在NLP大会经历的调研中，很多审稿人描述到”研究领域的匹配度是可以的，但是……“
  • 我对论文的主题不感兴趣（例如，我更喜欢另一个NLP任务、模型或数据）‍
  • 论文没有提出我感兴趣的研究问题
与此同时，超过27%的作者受访者表示，他们有过审稿人对论文主题不感兴趣的审稿经历。
在最近的ACL系列会议和ARR中会使用某些版本的自动论文-审稿人匹配系统，该系统根据他们的发表历史计算提交的摘要和标题与候选审稿人之间的匹配分数。有趣的是，同一项调查发现，根据作者、审稿人和领域主席的说法，这种自动评分总体上是论文-审稿人匹配中重要程度最低的因素。
匹配评分的传统替代方法是bidding，它也解决了审稿人的兴趣问题：审稿人明确指出他们会对哪些论文感兴趣。但这个过程相当费力：对于大的研究领域，审稿人在数百篇论文中表明自己的喜爱程度。另外，它还开启了勾结环（collusion rings）的可能性。
为了解决这个问题，ACL 2023将试验基于关键词的论文-审稿人匹配流程，该工作流程明确针对提交论文的两个维度：贡献类型和研究子领域。
什么是“勾结环”（collusion rings）？‍
勾结环是一种勾结团伙的运作方式。一群勾结在一起的作者撰写论文并提交给会议。串通者之间共享彼此论文的标题，以便在审稿之前进行选择。勾结环的存在严重违反了论文盲审的原则，造成了重大未披露的利益冲突。
1
『贡献类型』
这一部分旨在描述论文中包含了哪些工作类型。我们的分类基于COLING 2018 论文类型，并进行了一些修改：
贡献类型是可以横跨各个研究领域的，因此我们希望它们能有助于减少审稿人只是“根本不认可某种类型的工作”而给出低分，或者对论文有不合理的期望（例如在立场论文中要求提供实验结果）。另外一个目的是帮助建立考虑论文不同方面的论文-审稿人匹配模式，这并不总是发生在标准的基于track的论文分配模式。
例如，“计算/数据效率”类别实际上等同于在所有研究领域中创建了一个关于“效率”的赛道。通常，研究领域是组织一群对特定主题感兴趣的审稿人的唯一方法，但是当该主题可以与其他也需要相关专业知识的主题结合时，只在那个track中寻找适合的审稿人是不太可能的。例如，一篇提出一个问答系统的论文，但其目的并不是提高系统的准确率而是效率，这样的论文放在QA track中可能会处于劣势，而放在专门的efficiency track中可能使得缺少问答系统经验的审稿人。
如果贡献类型机制在ACL 2023中取得成功，我们希望它能够在未来得到更广泛的应用，以确保在所有研究领域内对不同贡献类型都能得到更加公平的审稿体验。除此之外，我们还可以进一步进行扩展，例如鼓励可以跨研究领域的鲁棒性方法、认知合理性等。
2
『匹配系统的工作模式』
我们的论文-审稿人匹配系统包括以下阶段：
  1. 子领域关键词收集：所有track的高级领域主席为他们所在的track提供潜在的关键词。我们要求他们基于对该领域的了解，提出不超过10-15个关键词来描述希望在即将举行的会议中投稿最多的子领域。虽然每个track可以有更多的潜在子领域，但这里的目标只是捕捉最大/最频繁的潜在子领域，这将有助于代表大部分论文投稿内容。 
  2. 审稿人招募：在注册时，审稿人不仅要指出他们想要审阅那些track，还要说明他们在这些track中的哪些子领域具有专业知识和兴趣。此外，他们还需要指定感兴趣的贡献类型。
  3. 论文提交： 在提交摘要时，作者需要指定论文的贡献类型以及首选track中合适的子领域。如果没有一个子领域是合适的，作者可以选择“其他”并指定自己的关键词。如果多个track具有相同的关键词，我们将由作者决定他们的主要贡献是什么，以及哪些track更有可能获得对此感兴趣的审稿人。例如，“姿态检测”既属于计算社会科学track，也属于情感分析track。如果作者将贡献置于更广泛的论证挖掘中，他们可能会选择“情感分析”track。相反，如果将贡献更好地解释为使用姿态检测方法的实现计算社会科学的发现，他们更可能选择“计算社会科学”track。
  4. 自动论文-审稿人匹配：我们将试图在贡献类型和跟踪子领域的维度上进行最大化匹配，以构建论文-审稿人的匹配列表。这些分配还考虑了审稿人配额、利益冲突和审稿人资历（以确保每篇论文至少有一名高级审稿人）。
  5. 手动调整：我们将结果匹配提供给高级领域主席，连同作为匹配理由的关键词，以及仍有审稿配额的审稿人的兴趣和简介。高级领域主席与领域主席将按需进行检查和更正匹配列表。
这些关键词在作者答辩（rebuttal）期间、审稿人讨论期间和撰写综合审稿意见（meta-review）时对领域主席可见。我们希望这能帮助程序委员会主席根据自我声明的兴趣和专业知识适当权衡审稿人的批评意见。
为了查看这一切改进是否达到了预期的效果，我们将进一步要求主席、作者和审稿人对他们使用该匹配系统的体验进行评分，并同意发表该实验的分析（仅包含统计数据，不含个人评论数据）。如果本次实验成功，我们将发布相关表格、指南和匹配脚本，以帮助未来会议的组织者。
技术交流群邀请函
△长按添加小助手
扫描二维码添加小助手微信
请备注：姓名-学校/公司-研究方向
（如：小张-哈工大-对话系统）
即可申请加入自然语言处理/Pytorch等技术交流群

关于我们

MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区，目前已经发展为国内外知名的机器学习与自然语言处理社区，旨在促进机器学习，自然语言处理学术界、产业界和广大爱好者之间的进步。
社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。
继续阅读
阅读原文
关键词
作者
方法
问题
领域主席
系统