海归学者发起的公益学术平台
分享信息，整合资源

交流学术，偶尔风月
摘    要
如今，同行评议是发表论文、申请经费的必由之路，然而这一制度并非完美。许多人都抱怨，即使是经过同行评议的期刊，依然会刊登很多有缺陷甚至涉嫌造假的科研成果；而另一种声音则批评道，同行评议对有根基的思想和体系有利，却会扼杀科研创新。
本文将为您指出，同行评议从诞生到膺负众望，其间的过程远比人们以为的要更迅速、更复杂……
1936年初夏，爱因斯坦和他的助手Nathan Rosen向《Physical Review》提交了一篇关于引力波的论文。在文中，他们提出了一个违背学界共识的观点，即认为引力波不存在。论文提交六周后，《Physical Review》总编辑John Torrence Tate反馈给了爱因斯坦一份审稿意见，并要求他充分解释审稿人的质疑。
若在现今学界，大家对这种情况绝对司空见惯了。现代科学家们都默认他们投递的文章会接受审阅，并且在正式出版前会经历再次的修订。然而，当时的爱因斯坦却不这样认为。对于他的论文被送往外部评议，他感到震惊和不悦。
爱因斯坦回复Tate道，“我和Rosen将我们的稿子寄给你，并没有允许你在出版之前将它给别的专家看。因此我们也没有任何必要回应你这位匿名专家的评论。此外，以后我再也不会给你的杂志投稿了。”
爱因斯坦说到做到，后来他再也没有向《Physical Review》投过稿。
我们可以把爱因斯坦的反应看作是一位资深物理学家的骄矜，他认为他的声誉足以让他略过同行评议的过程。当我们深入探讨同行评议制度的发展史，会发现其后蕴藏着更复杂的图景。1936年间，同行评议在世界顶尖的期刊里面并不流行，甚至可以认为《Physical Review》这次行为很是反常。即便在同年，当爱因斯坦向杂志提交那篇著名的反量子理论的Einstein-Podolsky-Rosen(EPR)论文时，也没有进行同行评议。
量子
所以，不难理解爱因斯坦为何难以接受这份匿名的评审意见。但是，80年后，同行评议制度几乎已经被所有领域的专家学者接受。那么，同行评议何以变得像今天这样深入人心的呢？
期刊同行评议制度的发端
许多学术研究和世俗观念都将同行评议归结于同一源头，即：1665年，英国皇家学会委派秘书Henry Oldenburg编纂的《Philosophical Transactions》——这通常被视为世界上第一本科学期刊。有的说法认为，Oldenburg当时就意识到，那些将要发表的文章需要听取相关专家的意见。因此，同行评议诞生了，并且最终成为科学出版中必不可少的一部分。
然而，这种说法的准确性却开始受到质疑。
这种说法起源于一篇发表在1971年的社会学文章——Harriet Zuckerman和Robert Merton的《科学评估模式：同行评议的制度化、结构和功能》。 Zuckerma和Merton的文章以对《Physical Review》推出同行评议这一决策的分析为基础，展开了相关社会学研究。该研究极具开创性，《Physics Today》还在其1971年7月号（第28页）上发表了一个精简版。Zuckerman和Merton除了认可Oldenburg是同行评议的创始人，还表示自17世纪以来，同行评议的形式和功能几乎没有什么变化。
然而，最近的历史学研究却挑战了Zuckerman和Merton的看法。实际上，对于《Philosophical Transactions》应该刊登什么内容，Oldenburg很少征询外界意见。他对杂志内容进行的控制有时甚至到了自称“作者”的程度。这本杂志并没有正式的投稿程序，Oldenburg只会刊登他感兴趣的东西以及他认为对读者有价值的东西——这不仅包括实验论文，还包括对他人研究成果的评论性文章、流行书籍的讨论，甚至还有他的私人信件。
尽管Oldenburg确实是科学出版史上的关键人物，但也许并不能称他同行评议的创立者。这个荣誉应该属于剑桥大学的William Whewell，他还创造了“物理学家”和“科学家”这两个术语。Whewell在1831年提出，英国皇家学会应该就《Philosophical Transactions》中出版的论文征集书面形式的评审报告。他还认为，这些评审意见也应在学会的新期刊《Proceedings of the Royal Society of London》上发表，这样才能达到促进科学讨论并为新期刊提供材料的双重目的。
William Whewell (1794–1866) 
英国皇家学会采纳了Whewell关于征集评审报告的建议，但很快就放弃了将它们出版以供公众讨论的想法。虽然少量报告确实曾出现在出版议程中，但到了19世纪30年代中期，这种做法就完全终止了。学会认为，进行评审主要是为了筛查出版物中的错误。到了19世纪中叶，《Philosophical Transactions》的评审工作几乎完全由两个秘书处管理，一个负责自然科学，另一个负责生物科学。秘书处的成员都是学会中的佼佼者，他们每个人都有一名助理秘书，为出版在《Philosophical Transactions》上的论文安排评审工作。评审报告被定位为机密文件，仅供学会内部使用。许多年来，无论作者的论文有没有被采纳，他们都无法接触到这些报告。
由于作者无法看到评审意见，所以当时的制度与现在“修改并重新提交”的方式也颇有异处。投稿给《Philosophical Transactions》的文章，要么被全然接受，要么被直接拒绝。不过，秘书处偶尔也会鼓励《Philosophical Transactions》的作者们在将文稿付梓前对文章进行修改。比如物理学家George Gabriel Stokes——他曾担任学会自然科学秘书处成员三十余年——就经常通过私人通信给作者们提供修改建议。Stokes会引用《Philosophical Transactions》评审员们有用的评论，而如果Stokes自己也审议过这篇论文，他经常还会发给作者一份完整并附有签名的评审报告副本。
20世纪初的同行评议制度
在19世纪末，科学界对同行评议的看法发生了重大转变。随着人们越来越担忧科学文献的整体质量，同行评议制度不再是单纯被用以帮助维护科研学会或期刊的声誉，它越来越多地被看作是科研文献名誉和可信度的捍卫者，被认为是“防止污水混进纯粹科学的河流”。
到20世纪初，同行评议制度已经通用于大多数英文科研学会。理论上讲，同行评议应当是开放且广泛覆盖的。但实际上，同行评审制度往往被限制在精英科学家的小型关系网中。20世纪初期的评审程序不像我们现在看到的科研期刊评审程序那么正式，作者通常看不到评审报告。
例如，在《Physical Review》中，评审者知道编辑会为作者的内容袒护辩解，所以经常提交简短随意、甚至偶尔带有讽刺意味的报告。常常担任评审员的Howard P. Robertson（1903-1961），他曾这样尖刻地评论道：某篇论文可能用隐形墨水书写，才能有所改进。
直到1935年，《Physical Review》才向评审员们提供了一个论文的评审标准。而在20世纪60年代以后，对所有论文进行系统的同行评议工作才成为官方政策。
早期手写的同行评议报告
冷战前，出版商出版的商业期刊几乎不会进行系统的评审。但在20世纪，诸如《Philosophical Magazine》和《Nature》等期刊却仍在坚持论文的内部评议。这些期刊高度重视所刊发的论文，它们之中很多都有能力出众的编辑在运营。要判定一篇论文的好坏，他们很少在少数十分可靠的顾问之外再咨询他人。
同样，许多著名的非英文期刊也非常依赖通过编辑的判断来选择内容。这样的期刊经常把国内一些最受尊敬的科学家纳入他们的编辑行列中。例如，普朗克是著名物理学杂志《Annalen der Physik》编委会的长期成员。无论是否经过外部评审，都很少会有人去质疑普朗克是否有能力审定论文。
一些投资机构进行的外部评议也类似于期刊的评审过程。像洛克菲勒基金会这样的私人投资机构，它们在一战后就已经把投资决策权交给信任的中层管理人员。但相比之下，与政府或科研学会相关的投资机构使用外部评议更加广泛，尽管这种做法在当时来说还不算普遍。
当美国政府于1948年成立国立卫生研究院（NIH）时，它管理科研资助的部门最初在很少或根本没有进行外部评议的情况下评估拨款申请。第一个提交的提案是NIH附属的专家学者能否组成一个小型研究部门，而这个提案最终由NIH组成机构的负责人（例如国家癌症研究所所长）决定是否拨款资助。
1950年，美国国家科学基金会（NSF）依据联邦法律成立，它比NIH更依赖外部专家对提案的意见。有些提案专门采用邮件方式进行审查，即提案副本被邮寄给科学家，科学家再回复评审意见。其他提案则由在华盛顿特区召开的专家小组进行评估。
美国国家科学基金会 NSF
然而，与NIH的情况一样，关于NSF资金流向的决策权主要还在NSF内部员工手中。董事们决定资助哪些提案，而同行评审意见只被看作是影响他们决策的一个因素。这个因素尽管重要，却无法从根本上决定NSF是否授予或停止资助。另外，NSF和NIH的同行审议报告都不会发送给资助申请人。提交提案的科学家只能得到一份由政府雇员编写的简短摘要，说明提案被接受或拒绝的主要原因。
在冷战之前，有些期刊或投资机构为了避免外部评审者获得太大权利，而选择由内部人员主导，这些机构与更依赖外部评审者的机构相比，显得缺乏科学性也不太可靠。但爱因斯坦与《Physical Review》发生冲突的故事也表明，那些习惯了靠编辑或基金会董事做出决策的研究人员，不一定会认可外部评审。毕竟，作者为什么要相信某个匿名的审稿人，而不是相信愿意为自己的言论署名的、受人尊敬的编辑或项目负责人呢?
公共信托与同行评议
“同行评议”一词在20世纪60年代首次出现在科学出版社。有趣的是，这个词似乎并不是起源于期刊。相反，“同行评议”最初用于描述投资机构（通常是NIH）和医学界的评审委员会。
“对不同的人来说，同行评议意味着不同的事情，”内科医生兼研究员Irvine H. Page在1973年美国医学协会杂志上的一篇社论中如此评论到。他指出，“对于大多数美国内科医生来说，这意味着PSRO（专业标准审查组织，它审查对美国医疗保险法的遵守情况）的造访；对于英国上议院来说，这意味着由同行来检查自己是否存在道德问题；而对于科学界来说，这意味着研究部门和理事会将核查受资助人的财务状况和研究前景。”
有意思的是，尽管科学家和编辑们在上世纪70年代为了前述的目的慢慢采纳了这个术语，但那时期刊的同行评议并不等同于Page提出的定义。
1975年， NSF的资助项目陷入了一场争议，这个小插曲将让同行评议变得更加常见，也将凸显并巩固同行评议对于学术界越来越重要的意义。美国的科学家——特别是物理学家，是膺负着曼哈顿计划的巨大成功进入冷战时期的。到1953年，美国政府在科学方面投入的开支比战前增加了25倍，但一直到苏联在1957年先于美国发射人造卫星，美国科学界的公众形象才得到改善。
然而，美国对科研资助的热情是有限的。早在1966年，国防部的一项研究就得出结论，国防部在基础研究上的大量投入，并未有效推进诸如新武器等目标的研究。这项研究发表在一份名为《the Project Hindsight report》的文件中，该文件的结论导致一些立法者和评论员更加频繁地质疑科研支出。科学家们在冷战初期获得的社会、经济地位开始出现动摇，而这篇报告则为它们可能面临的风险埋下了伏笔。
到1975年，两个超级大国之间的冷战已经进入了相对平静的时期。与苏联并驾齐驱似乎变得不那么重要了，因为美国此时正为经济危机焦头烂额。由于它在1973年阿以战争中对以色列的支持，几个主要石油生产国拒绝向美国出售石油，因此美国的石油和天然气供应出现缺口。而此时美国经济也开始停滞，通货膨胀和失业率飙升。由于国会面临削减税收、减少开支的压力，一些国会议员将目光投向了NSF。
NSF最突出的对手是参议员William Proxmire，他熟谙鼓动人心的技巧，是一位经验丰富的威斯康星州民主党人。1975年3月，Proxmire开始颁发他著名的“金羊毛奖”，这一奖项将被授予当月他认为最浪费纳税人金钱的政府项目。前两项金羊毛奖都被授予了NSF资助的项目，分别是威斯康星大学关于人际吸引力的社会学研究及心理学家RonaldHutchinson关于为什么人类、老鼠和猴子会在压力下咬紧牙关的研究。Proxmire呼吁NSF“摆脱爱的喧嚣”，并宣称Hutchinson的“无稽之谈”已经“让美国的纳税人制造出了猴子”。 
William Proxmire (1915–2005)
与此同时，一位名叫John Conlan的国会议员也开始疯狂批评NSF在其教育计划上的开支，特别是MACOS（Man: A Course of Study，人类学习课程）和ISIS（Individualized Science Instructional System，个性化科学教育系统）。 MACOS是一个社会科学课程，自20世纪70年代早期开始，在Conlan的家乡亚利桑那州饱受争议，批评者声称它促进了道德相对主义。针对四年级学生的ISIS项目也被指责在生殖教育上过于露骨。
在讨论为何MACOS和ISIS能获得政府资助的过程中，Conlan与包括基金会董事H. Guyford Stever在内的NSF领导发生了冲突。Conlan向NSF索要完整的评审报告以及审查人员的名单。而Stever回答说，审查人员提交的审议报告受保密承诺的保护，公开审议报告的内容或审查人员的名字将违反NSF政策。然而，Conlan仍坚持索要相关文件。
Conlan说，“我再次提醒您，我是一个负责监督NSF的国会议员。因此，我要求您向我提供提供同行评议者的审查报告——并且要完整的原始版本。”
这场关于NSF拨款的公开辩论以及后续的私人交流，最终导致了NSF同行评审特别监督听证会的召开。1975年7月，该听证会在众议院科学研究和技术委员会召开之前举行。在为期六天的会议里，国会中的质疑者和证人们详细地讨论了NSF的同行评议过程。
国会大厦
Conlan在他的证词中指出，NSF的评审制度使决策权集中在董事会成员手中，而没有给外部评议者的意见以足够的重视。他声称，让基金会尽职尽责的唯一方法是公布评审报告以及审查人员的姓名。
NSF的团队参加了听证会，准备对这些意见做出回应。Stever董事宣布，自1976年1月1日起，申请者将会得到他们评审报告的完整副本，不再仅仅是摘要。然而，Stever也坚持必须通过保持同行评议者的匿名来确保他们的坦诚。NSF的领导人们还表示，在未来，新的审计处将确保董事们的意见在正面或负面的评审报告中占据更为适当的权重，换句话说，NSF将把更多决策权交到同行评议员手中。
在听证会之后，NSF资助的教育项目大幅缩减，对MACOS和ISIS的资助几乎全部被取消。不过，NSF的同行评议改革至少暂时平息了激烈的争论，并且很快就使这场争论从公众视野中消失了。与此同时，Hutchinson起诉Proxmire诽谤，使他卷入了一场诉讼。Proxmire最终向这位心理学家公开道歉，并在未来的金羊毛新闻发布中删除了个人姓名。
尽管大多数的批评都是针对社会科学的，但是各个学科的科学家们都在关注这场争论。《Physics Today》对本次听证会和NSF的政策变化进行了密切的关注。总编辑Harold Davis在一篇社论中指出，听证会表示：“同行评议是我们决定如何在特定领域分配资金的最佳手段。”
在同一篇社论中，Davis还宣称，《Physics Today》将向每一位国会议员发出申明，以阐明科学界的内在运作机制。正如Davis所言，“在这个科学技术与社会议题紧密相关的时代，我们将需要更多的同行评议。”
20世纪60年代和70年代是人们对同行评议的观点转变的关键时期。在20世纪中叶，外部评审仅仅是期刊或投资机构用以决定是否通过申请的标准之一。到冷战结束时，同行评议已成为保持科学权威的先决条件。
NSF陷入的这一争议显著地表明，至少在美国，加强同行评议的原因之一是冷战期间科学家和公众之间的关系发生了变化。在上世纪50年代和60年代，基础研究和应用研究方面的支出都大幅增加。而当人们开始质疑受资助研究的公共价值时，科学家们就面临着失去公众信任和削减研究经费的问题。立法者们希望科研支出能够对公众负责;科学家们则希望与科学事务的决策权能够掌握在科学家手中。因此，施行同行评议制度，至少能确保那些最好且最重要的项目得到资助，这是一种折中的解决方法。
同行评议的危机？
如今，同行评议是发表论文、申请经费的必由之路，虽然这一制度并非完美。许多人都抱怨，即使是经过同行评议的期刊，依然会刊登很多有缺陷甚至涉嫌造假的科研成果；而另一种声音则批评道，同行评议只对有根基的思想和体系有利，会扼杀科研创新。
2014年，PLOS（the publisher Public Library of Science，出版商公共科学图书馆）的共同创始人Michael Eisen告诉《华尔街日报》的记者，科学家和非科学家都需要抛弃“只要通过任何期刊任何形式的同行评审，就说明这个科研成果是正确的”这一观点。他认为：“这只意味着这个成果经过少数人（1~4人）的审阅以后，没有发现任何重大问题。”
PLOS ONE
当前的同行评审制度的另一个缺点是，评审人员不会因其工作而被授予终身职位或是获得晋升。不堪重负的科学家们几乎没有动力去完成冗长、细致的审议报告——这些报告早已超过了作为优秀科学公民应履行的最低义务。
在线出版和在线阅读的方式转变催生了同行评议的替代方法，比如允许科学家对他们所阅读的文章发表评论。长期以来，物理学家们一直通过非同行评审的arXiv.org（全球最大的预印本系统）来寻找他们领域的最新出版物，尽管读者们可能会怀疑这些论文的质量，因为它们仅仅是被发表在arXiv上，还未曾登上过任何期刊。
其他期刊一直在尝试逐渐改变同行评议制度。美国科学公共图书馆旗下的《PLOS One》是一本著名的开放获取的期刊，它要求它的评审员们只判断论文中科学的含金量，不用判断这项研究的重要性或影响。《PLOS One》政策背后的信念是，后期的科学家们将会证明哪些文章是真正有价值的。另一本期刊《ELife》则注重评审员和编辑之间的沟通，就一篇论文的前景达成统一的决议，而不是给作者多份可能会相互矛盾的报告。
《Physical Review》
在考虑同行评议制度的未来时，探究它的过去是有益的。我们经常把同行评议说成是学术界自从艾萨克·牛顿时代以来稳定不变的部分，但是同行评议的历史实际上比我们认为的要更短也更复杂，并且同样饱受争议。早在1845年，就有人评价同行评审“毋庸置疑地充满着嫉妒、仇恨和恶意”。换言之，在那时，对同行评议的非议就已经非常普遍。
此外，同行评议最初并不是为了检测学术不端或确保学术论文的准确性而开发的。Whewell认为，评审报告将会促进学术界的讨论；学术界也接纳了评审制度以避免刊登不恰当的内容。曾经的主流观点是，应对论文负责的是作者，而非同行评审员。但及至20世纪，人们开始认为评审员也应对科学文献的质量负责。直到冷战结束之后，同行评议才终于作为论文评价的必要环节而被广泛接受。
同行评审在科学界的作用从来就不是一成不变的。 迄今为止，它的形式和目的总是随科学家的实践需求而被不断塑造、改变——无论这个需求是维护科研共同体的信誉，还是改善科学文献的质量，抑或是保证科研支出的有效运用。 如果科学家们想要变革同行评审的未来，那么他们必须得考虑清楚：同行评审将为何种目的服务，而这个目的本身，又是否经过了两人以上的同行评审？
参考资料
  1. H. Zuckerman, R. Merton, Minerva 9,66 (1971).https://doi.org/10.1007/BF01553188, GoogleScholarCrossref
  2. A. Fyfe, J. McDougall-Waters, N. Moxham, NotesRec.: R. Soc. J. Hist. Sci. 69, 227 (2015). https://doi.org/10.1098/rsnr.2015.0036, GoogleScholarCrossref
  3. A. Csiszar, Nature 532, 306(2016).https://doi.org/10.1038/532306a, GoogleScholarCrossref, CAS
  4. M. Baldwin, in The Age of ScientificNaturalism: Tyndall and His Contemporaries, B. Lightman, M. Reidy, eds., Pickeringand Chatto (2014), p. 171. GoogleScholar
  5. I. Clarke, Isis 106, 70 (2015). https://doi.org/10.1086/681037, GoogleScholarCrossref
  6. R. Lalli, Notes Rec.: R. Soc. J. Hist.Sci. 70, 151 (2016).https://doi.org/10.1098/rsnr.2015.0022, GoogleScholarCrossref
  7. R. Kohler, Partners in Science:Foundations and Natural Scientists, 1900–1945, U. Chicago Press (1991),p. 68. GoogleScholar
  8. I. H. Page, J. Am. Med. Assoc. 225,1240 (1973).https://doi.org/10.1001/jama.1973.03220380052015, GoogleScholarCrossref, CAS
  9. D. Kaiser, Nature 505, 153(2014).https://doi.org/10.1038/505153a, GoogleScholarCrossref
  10. J. Conlan to H. G. Stever, 15 May 1975,in National Science Foundation Peer Review, Special Oversight Hearings, USHouse of Representatives, p. 21. GoogleScholar
  11. M. Eisen, quoted in H. Campbell, WallStreet Journal, 13 July 2014, http://www.wsj.com/articles/hank-campbell-the-corruption-of-peer-review-is-harming-scientific-credibility-1405290747. GoogleScholar
扩展阅读
氢我一下就超导
海森堡模型的谱，到底有多靠谱
NSR专题｜引力波天文学（特邀编辑：武向平）
三分钟的相对论视频，如何让高中女生赢40万美金？【知社视频】第1期
本文系网易新闻·网易号“各有态度”特色内容
媒体转载联系授权请看下方
继续阅读
阅读原文