在上一篇文章中，我讨论了学术出版过程不必要地缓慢，劳动密集型和剥削性的方式，这些研究者没有为他们毕生付出的研究和写作付费。 获得学术期刊文章的费用非常昂贵（单篇文章35-55美元，每年订阅费用数千美元），但是收集数据，分析，撰写，提交并发表的人们修改后，无论花多少钱来获得工作，都不会得到任何补偿。
今天，我将目光投向学术出版过程中另一个令人生畏的偏见和草率的方面：同行评审。 旨在提高科学工作的严格性和客观性的同行评审过程本身并不是以客观，系统或科学的方式进行的。 实际上，这是最分散的，混乱的混乱之一。
选择和分配审稿人的过程是不系统的，充满了偏见和错误的余地； 审核过程本身没有以任何方式标准化； 评论的内容通常是任意的，并受个人议程的影响； 进行审查需要很长时间。 最糟糕的是，没有人参与其中。
…
我希望所有科学爱好者都知道的第一件事是：同行评审没有薪水。 当期刊编辑与您联系并要求您进行审查时，由于没有可用的付款，因此没有关于付款的讨论。 曾经 此外，同行评议与教授或研究人员的实际工作没有任何直接关系。 在几乎任何情况下，要求您进行同行评审的人都不是您的主管或部门的主席。 您的雇主无法跟踪您进行了多少同行评价并适当地奖励了您。
相反，期刊编辑会自愿通过电子邮件询问您。 作为忙碌的教职员工，研究生，博士后或兼职人员，您可以决定是否同意。
该过程通常是匿名的，并且往往相对不受欢迎-除了要求您进行审查的编辑之外，没有人会知道您参与了该过程。 预计教师不会提供任何评论。 提供评论实际上不能以任何有意义的方式放在您的简历或简历中。
您审阅过的期刊文章（如果发表）可能会放在一本昂贵的期刊上，而您的辛勤工作可能帮助该期刊维持了其受人尊敬和严谨的声誉，但是您不会看到其中的一分钱无论如何，您也不会因从事这种自由劳动而获得任何赞誉。 像许多非正式的学术职责（例如在委员会中任职或指导学生）一样，您希望这样做是出于对这样做的热爱，同时还要兼顾实际评估的职责。
…
为什么要求研究人员提供同行评审？ 通常是因为他们之前在主题领域发表过研究。 当然，这很有意义。 您希望审稿人是精通该学科的人，他们知道该学科的术语和基础知识，至少对当前的文学空白和正在进行的辩论有一定的了解。
问题是，识别和联系审阅者的过程不系统。 并非要求在主题领域进行过工作的每个人都进行审查。 永远不会要求在A期刊上发表过大量著作（但未在B期刊上发表）的人对B期刊上的出版物进行同行评审，无论它与他们的工作有多相关。 如果编辑没有听说过某个人，或者从未亲自见过他们，则他们可能不会认为他们是可行的同行审稿人。 合适的审稿人可能没有时间实际进行审阅。
结果，首先联系谁，实际上有时间进行审核，而最终提供审核的人则具有很多随意性。 通常，提供评论的人是研究生，博士后以及学术等级较低的其他人-因为他们还没有学会对无薪，无酬的工作说“不”。
如果您是一位忙于任职的教授，那么您可能没有时间也没有动力去完成同行评审。 您正在忙于上课，评分论文，参加委员会会议以及指导自己的研究生—所有这些都需要大量的阅读，思考，写反馈和发送电子邮件。 您要做的最后一件事是使您眼花ble乱地查看其他一些半形式的研究草案，这不是您的工作要求。
而且，如果您有一份不错的，任期长的学术工作，那么除了提供一份对同行的评价以帮助社区之外，您还能从同行评审中受益匪浅，并且有机会批评您不同意其工作的同行。
…
相反，如果您是研究生，博士后或新教授，您可能会觉得被问到有义务同peer审查稿件，因为您认为这将以某种方式帮助您建立并帮助您的职业。 虽然可能不会。 您可能会感到，在被问到的前几次，被问及是一种巨大的荣誉。 不是。 您甚至可能相信，提供高质量的评论将帮助您在子领域中建立自己的地位。 那不会发生。
正如我已经提到的，审稿人基本上是匿名的。 只有要求您进行审阅的编辑者才会知道您已投入工作。 他们可能会感谢您为他们提供了扎实的帮助，但是除非您与他们建立起真正的纽带，否则可能就不那么重要了。 您的大学不知道您提供了同行评审。 您子领域中的其他研究人员不会有任何想法。 您的同龄人或同学不会知道。 您的导师不会留下深刻的印象。
即使您向人们介绍您经过同行评审的工作，也不会给他们留下深刻的印象。 提供同行评审被认为是必要的，但并不令人印象深刻，例如参加会议和提供服务。 志向高昂的教师仍然要参加，这是一项艰巨的任务。而且，就像参加会议和在委员会任职一样，它最终要花费大量的时间和资源，同时却没有得到报酬，没有报酬和报酬。
…
如果您是该领域的知名研究人员，那么您往往会收到更多的审查要求。 由于请求量很大，并且由于进行审查很累人并且毫无用处，因此您不能一味地接受。 因此，您拒绝了复审请求，这些请求便流向了您的研究生或经验不足的研究人员，这些研究人员试图通过任何必要手段（包括实际上无济于事的手段）证明自己的工作能力。
由于不需要任何人进行特定数量的评论或根本不需要任何评论，并且无需支付服务费用，因此同行评审的工作是以不合逻辑的方式进行的，这绝对不是基于优点的。 可以随机将一篇文章分配给两名知名的，知名的审稿人，他们在编辑要求之日碰巧想回馈科学界。 可以将完全相同主题的另一篇文章分配给两个以前从未评论过文章的研究生。 编辑们尽最大的努力选择具有不同背景的优秀评论者，但是鉴于这项工作没有经济或专业上的动力，这样做是一大步。
…
确定了选择审阅者的过程是分散的，而不是系统的，所以让我们来谈谈审阅过程本身。
这也不是客观的。 没有关于如何做好的培训。 教育者很久以来就知道，要在一篇文章上提供一致，有用的反馈，通常需要使用专栏或某种标准的标记方案。 几十年来，研究人员已经知道，如果要始终如一地分析人类绩效，则需要进行培训和实践。
尽管如此，同行评审过程没有任何规定。 不会评估或检查审阅者的过程和绩效的一致性和严格性。 审稿人未经培训。 没有共同商定的用于评估作品质量的专业标准。 在我的领域，社会心理学是一个受到可疑的研究实践困扰的领域，我们甚至没有制定确保研究合法的规则。 但是，我们确实有一些关于这个问题的令人讨厌的期刊文章。
那么，当文章提交给审稿人时，实际上发生了什么呢？ 基本上，您会受到您任意分配的审阅者的异想天开。 您不知道对他们有什么期望，然后进入流程。 谁知道您的审阅者会拥有哪些日程安排，宠物烦恼和写作风格偏好。 谁知道他们要花多少时间阅读您的作品，或者他们实际有多胜任？ 您甚至都不知道他们是谁。 您只知道它们可能已经在期刊上发表过。
…
对文章进行所有审查的程度归结为偶然。 如果为您分配了创建与您的理论相反的理论的审稿人，则您的工作很可能会被分开。 审阅者将非常仔细地寻找缺陷，并尽其所能解决问题。 从本质上来说，这并不是一件坏事，应该对研究进行严密审查，但这也不是没有偏见。
您的审阅者，如果他们有斧头可以磨，可能不是为了科学而寻找缺陷，而是为了自己的职业。 在过去喜欢或曾经合作过的研究人员身上，他们可能走得更远，容易得多。 科学家是人类。 我们会遭受与研究对象相同的认知偏见，对此我们非常不自省。 而且，确保审稿人在批评中适当地挑剔通常不是期刊编辑的工作。
除了对斧头打磨的审稿人和性情友好的审稿人之外，有些审稿人也不会拒绝。 这些人通常是不知所措的人，或者是头顶上的人。 由于工作量要求或缺乏经验和培训，他们无法对所提供的文献进行有用的评论。 他们可能会延迟提供反馈，或者只发表一些特别有用的表面注释。 或者，为了表现出帮助和批评的作用，他们可能提出大量不相关的建议，这些建议会延迟发布，但不会提高工作质量。
…
无论您是谁，您从审阅者那里获得的许多评论都是无意义的或主观的。 一个人可能会要求您更多地引用自己的作品。 即使从技术上讲这两种用法都不错，但还是喜欢“无数”而不是“无数”的人可能会批评您的语法。 不相信性别歧视的评论者可能会要求作者删除承认非常基本的，公认的社会正义问题的语言。 具有最喜欢的宠物统计技术或宠物烦恼的评论者，可能会要求进行其他分析以满足他们自己的神经症。
很多时候，审阅者通过询问“我将如何做到这一点？”而不是“这样做是否很好？”来接近论文。 这导致很多建议归结为口味和传统。 这就是有问题的分析过程（例如p-hacking）如何世代相传的方式。
许多审阅者，尤其是新手，都觉得有必要证明他们在审阅中付出了很多工作，因此他们只是为了推荐某些东西而提出了大量建议。 可能会要求作者增加收集一些研究的新数据价值，或者可能会要求他们引用与审稿人自己的工作相关的著作，在其文献综述中添加较大的部分。 可以要求对论文进行结构性更改，以吸引一位审阅者的个人偏爱或偏见。 有时，这些更改会改善纸张的整体效果，但往往只会不必要地延迟所有操作。
…
不幸的是，同行评审过程还受到其他各种人类偏见的影响，包括性别歧视和裙带关系。 虽然审稿人的姓名通常被遮盖，但审稿人本身并不总是匿名地使用作者的姓名，从而允许隐瞒作者的身份。Cordelia Fine在她的著作《性别错觉》中著名地报道了一名跨性别男性研究员。一旦他开始使用男性名字，他的同事就会变得更加聪明和有能力。 他甚至听到别人不经意地提到他比他的“姐妹”“要好得多”。 他没有姐姐-人们在谈论他的过渡前自我。
当然，这种情况是轶事。 但是数据表明，普遍的性别歧视也偏重了同行评审过程。 Wennerås和Wold在2010年对博士后研究金申请进行了大规模审查，并发现了性别歧视和裙带关系的证据。 与男性相比，女性获得奖学金的可能性要低得多； 当申请人与审稿人成为好朋友时，他们更容易被接受。 在2007年发表的一项荟萃分析研究中，Bornmann及其同事发现，在同行评审过程中，“统计学上，男性获得资助的几率比女性高7％左右。”
我找不到发表的经验工作来确定同行评议过程是否受到种族主义的毒害。 但是，审阅者通常可以根据其姓名来辨别（或猜测）作者的种族或种族，并且先前的工作已经确定，当工作申请或简历上的姓名被视为“黑名”时，申请人就更接近经过仔细检查，不太可能被选中。 当审阅者也知道文章作者的姓名时，很可能发生相同的过程。
当然，即使对审稿人隐藏了作者的名字，仍然存在偏见和偏见的余地。关于种族主义，性别歧视，能力歧视或任何其他结构性压迫形式的工作可能会由白人，顺从者更严格地审查。一位不自在的男性作家被提醒，世界不是一个公平的地方。
如果您曾经参加过社会科学方面的研究报告，那么您会目睹一位富有的，经验丰富的白人男性研究人员试图将黑人或女性同事的工作分出来，而不是基于功绩，而是因为他不相信这个世界像黑人和女性所说的那样偏执。 科学家们喜欢相信他们坚定不移的逻辑，这会使他们更难以承认自己的偏见，而不是普通人。
…
我是否提到过，审稿人可能需要几个月的时间才能将草稿带回反馈？ 有些评论者需要一年以上的时间 ？ 而且，即使在那时，编辑人员也经常不得不提醒，哄骗和骚扰审稿人重新获得审稿？ 作者可能会被困在等待学期回听文章的过程中，只是让他们的审稿人在一天之内匆忙阅读该作品，并根据主观性将一些表面层面的批评归类在一起，然后毫不犹豫地将其发送给编辑。思想。
这一过程的缓慢显然与以下事实有关：审稿人没有薪水，也没有作为其正式工作的一部分被赋予审稿职责。 这是一个完全独立的，无法衡量的事情。 当然，当您要教课，写自己的手稿和参加工作讲座时，这将是低优先级的事情。
…
学术期刊不允许同时投稿，这使情况更加恶化。 您一次只能向一本期刊提交论文。 因此，您真正地需要2到3个随机审阅者，再加上期刊编辑，一次又几个月或几年不见，然后才能看到您的工作。 如果是第一次接受。 从统计学上讲，它可能不会。
大多数提交不被接受。 如果幸运的话，编辑器会在几天之内“拒绝”您的工作。 当某篇文章显然不适合该出版物时，就会发生这种情况，或者该文中充斥着很多缺陷，以致编辑可以告诉它不会通过审阅者评审。 获得拒绝服务台至少可以节省时间。 它允许作者进行重大修改或提交完全不同的期刊，而不必等待数月之久才被拒绝。
即使经过全面的审查过程，大多数文章仍被拒绝。 这是期刊确定其严格程度的一部分-高拒绝率看起来不错。 它暗示了彻底性，尽管以一种“摇尾巴”的方式。 在严谨的祭坛上牺牲了许多合适的手稿。 相反，一小部分却是“幸运的”子集得到了精疲力尽但又稍有希望的“修改并重新提交”。
…
“修订并重新提交”并不保证在进行修订后，文章将被接受。 这只是作者回应评论，进行一些调整并尝试再次被期刊接受的机会。
有时，修订仅仅是结构上的或理论上的。 有时要求作者重新分析他们的数据。 但是通常，尤其是在社会科学领域，人们期望进行一项研究，收集更多数据，对其进行分析，撰写，然后将新草案再次发送给审阅者。
无论修订需要花费多长时间，它们都将被发送回审阅者和编辑者，在那里他们可能一次几个月都无法阅读。 最后，审稿人可能会返回到草稿，此时也许甚至不记得他们的原始反馈。 作者很可能会在原始提交后的数月或数年内，收到与第一轮方式一样模糊和主观的第二轮反馈。 那就是如果原始审核者都没有离开地图/被淹没太多而无法完成审核/死亡的情况。
…
当然，事情并不总是那么糟糕。 有时，审查相对较快（一两个月），修订请求很有意义，并且接受了修订工作。 我和我的同事已经发生过好几次了。 在这种情况下，同行评审过程总比没有好。 但这并不意味着它是适当的，合乎逻辑的或系统的。
由于该过程是秘密的，艰苦的，漫长的且乏味的，因此具有为科学工作贡献价值和合理性的幻觉。 而且由于科学家是从事此工作的科学家，因此可以认为这是一种科学实践。 但是实际上，这并不比从碰巧出现的任何人在会议演示中收到一些随机的，经过半数考虑的评论要好得多。 而且没有任何结构，培训或薪资表可以使它变得更好。
同行评审不是一个科学的过程。 科学家只有遵循科学方法，才是科学家。 当他们根据直觉，个人喜好，偏见和有限的资源向同事提供反馈时，他们就是人，他们和其他人一样前后矛盾，草率。
…
这种混乱、,琐的过程延迟了公众获得新颖的科学著作的机会。 这意味着发布的作品并没有达到始终如一的高标准，而且还算公道。 这导致普通民众对他们认为已经过仔细而彻底的审查的工作充满信心，但他们无法轻易地对其进行核实。 而且，这也给研究人员和他们的职业目标之间设置了巨大的任意障碍。 出版物对于研究人员获得任期或祈祷获得竞争性学术工作很有必要。 但是，获取出版物的过程与研究人员的生产力或功绩根本无关。
但是，还有其他选择。 例如，在数学领域，期刊文章被视为与同事和广大公众共享知识的一种低效且不合逻辑的方法。 取而代之的是，在少数对此感兴趣的专家中，数学证明可以快速，自由地共享。 当工作做好时，就说明一切。 证明成功建立了作者打算建立的东西，或者不是。 无需引入随机障碍，以使流程看起来更符合逻辑。 这项工作已经合乎逻辑。
在本系列的下一篇文章中，我将从数学界以及不断发展的开放科学界中汲取灵感，讨论如何改革学术出版流程。 我仍在积极研究这些替代方案，其他人对此主题的著作也是如此。 如果您是研究人员，并且对如何改革同行评审流程或应该采取的替代方法有深入的了解，请通过以下方式加入对话：通过发推文（@dr_eprice）或撰写评论，你自己的文章。
