哈佛实测:AI写的审稿意见,人类专家87%都觉得更好
最近看到一个研究,说实话看完我愣了好一会儿。
哈佛大学Gary King团队发了一篇论文,标题就很直接:《AI Article Reviews Dominate Human Peer Reviews at Their Best》。翻译过来就是——AI写的审稿意见,在人类最好的状态下也全面碾压人类。
我知道你可能觉得"又是AI吹牛逼",但这次的数据确实有点狠。
他们到底比了什么
研究团队找了124篇真实的学术论文,每篇论文都分别让Claude Opus 4写一份审稿意见,同时保留了人类专家已经写好的审稿意见。
然后他们请了三位曾经担任顶级学术期刊主编的专家,做盲评——把AI和人类的审稿意见混在一起,隐去作者信息,让这些老专家自己挑哪份更好。
结果呢?30次对比,26次专家选了AI。
其中一位主编,10组对比里一次都没选人类,全票给了Claude。
七个维度,人类一项没赢
研究团队从七个维度对比了AI和人类的审稿质量:包括论证深度、问题洞察力、可操作性、清晰度、建设性等等。
你猜怎么着?七个维度,AI全胜。没有一个维度人类表现更好。
如果让另一个AI模型来做裁判,132组对比里AI赢了132组——100%胜率。
这个结果其实挺反常识的。我们总觉得AI写东西"很水""没有灵魂",但在审稿这个场景下,Claude反而写出了更具体、更有深度、更有建设性的意见。
为什么AI审稿反而更强?
我自己想了想,大概有几个原因。
第一,AI没有情绪。人类审稿人可能赶时间、可能对作者有偏见、可能心情不好,写出来的意见要么太敷衍要么太刻薄。AI就不一样,它每一篇都认认真真读,认认真真写。
第二,AI不知道"客套"。人类审稿人总喜欢先来两句"这篇论文很有意思"再开骂,AI直接指出问题,一针见血,不留面子但也不人身攻击。
第三,也是最关键的——AI不会累。一个人类教授一年可能审十几篇论文,每篇花两三个小时,已经筋疲力尽了。Claude可以同时审几百篇,每篇都是满血状态。
第四,AI不会被名气绑架。人类审稿人看到大牛的论文可能手下留情,看到无名小卒就严格要求。AI不认识任何人,只看论文本身。
对学术界意味着什么
这个研究出来之后,学术界肯定要震动一阵。同行评审制度从三百年前用到现在,一直被吐槽慢、不准、有偏见,但大家也找不到更好的替代方案。
现在AI直接把审稿这个环节给做了,而且做得比人类好。
我觉得接下来几年,学术期刊大概率会开始用AI做初审——先让AI筛一遍,把明显不行的论文直接拒了,人类专家只需要看那些AI觉得值得发表的。
这样人类审稿人的工作量能减一大半,审稿周期也能从三个月缩到几周。对学生和年轻学者来说,这其实是个好消息——不用再等半年才知道论文过没过了。
不过先别急着唱衰
当然,这个研究也不是没有争议。比如有人说,AI审稿写得"好看"不代表它判断得"正确"——它可能写了一篇很流畅的废话。
而且同行评审不只是写意见,还涉及到对论文原创性、学术伦理、数据真实性这些更微妙的判断。这些事情AI能不能做好,还需要更多验证。
另外,AI审稿也可能带来新的偏见——如果训练数据本身就有偏差,AI可能会系统性地偏向某些研究方向。
但不管怎么说,这个研究至少证明了一件事:在"写一份有建设性的审稿意见"这件事上,AI已经不输人类专家了。
而我们这些普通人,其实应该想想自己的工作里有多少是"写一份专业意见"类的活——那些活,可能真的快保不住了。