科学上存在可重复性危机(reproducibility crisis)吗?最近发表在Nature期刊上的一篇新闻特稿[1]只是最新的一篇文章指出这种情形可能是存在的。
针对这篇新闻特稿中接受调查的1576名研究人员而言,52%的人注意到可重复性是科学上的一个重大危机。物理学家和化学家在他们各自的领域有最大的信心重复他们的发现,而医学专家和生物学家有最少的信心实现这一点。此外,这项调查发现24%和13%的调查对象分别地发布了成功地和不成功地重复了他们的发现,相比较之下,12%和10%的研究发现被拒绝发表的那些人分别地发布了成功地和不成功地重复了他们的发现。这些发现类似于之前的研究发现:83篇论文中仅有16篇指出多种精神治疗的疗效得到成功地重复[2],以及在发表在3篇心理学期刊上的100项实验性和关联性研究[3]当中,仅有36%的研究成功地得到重复性再现。
在科学研究中,可重复性为何至关重要?
简而言之,可重复性是相同的或不同的研究人员在每次重复实验时获得类似结果的能力。考虑到科学旨在产生可能增强我们对这个世界的理解的发现,可重复性不仅确保这些发现在手稿中的价值,而且也会阻止其他的研究人员走向死胡同。
尽管可重复性是科学的核心,但是做不到这一点在研究上是非常流行的。保持处于科学前沿有时会增加发表新结果的压力以至于科学家们能够在他们的领域继续取得进展。然而,这种压力不应当是促进科学研究的主要动力,这是因为它可能潜在地产生太多假阳性结果。事实上,根据2015年6月发表在PLoS Biology期刊上的一篇论文[4],基于对之前研究的分析结果,不可重复的临床前研究的发生率超过50%,而且它们的标价非常昂贵,将近282亿美元。此外,这个问题可能导致大众对科学家们和科学进步的不信任,而这可能威胁科学进步的未来。
科学上不可重复性的原因
除了科学上存在发表压力之外,还存在很多其他可能的因子也能够导致这种不可重复性。对结果的选择性报道、缺乏对基础统计学原理的理解和较差的实验设计都会导致这种普遍存在的现象。其他的因子包括来自资深研究人员的不充分指导;欺骗;在一种“不发表就完蛋”的环境中,实验室成员之间的高度竞争;开展研究时没有足够的资源可供使用。
另一个可能导致这种困境的主要因素是在不同实验室之间解答类似的研究问题时开展的实验存在差异性。一个常见的例子是利用细胞系理解基础的生物学过程和疾病状态。在2016年6月发表在PLoS Biology期刊上的一篇论文[5]中,Capes-Davis和Neve指出鉴于生物医学科学中的可重复性令人怀疑,应当对细胞系进行质量控制以便对这些资源进行认证。他们指出给职业早期的研究人员开展分子生物学资源认证方面的培训,以及更加强调专注的良好的科学而不是论文发表情况或大科学,可能能够缓解这一危机。此外,在近期发表在PLoS Biology期刊上的一篇论文[6]中,Almeida等提出学术界针对如何正确地使用细胞系应当采取行动,并且现存的多种认证标准,如用于STR分型的ANSI/ATCC标准(ASN-0002)和用于物种条形码分析的ASN-0003,是确保细胞系质量的关键步骤。
在发表的研究中详细实验方法的缺乏可能也导致不可重复性。如果研究人员加大力度细致地描述他们的复杂实验,那么其他的科学家可能更加容易地重复它们。如今,很多期刊正在执行特定的规则来确保作者们提供重复他们的结果所需要的所有信息。再者,一些期刊,如Nature期刊,已建立开放的存储库,在那里研究人员能够储存和分享他们的实验步骤以便科学界的其他人能够使用和评论。
还能做什么?
人们并不完全清楚如何更加可重复性地开展科学研究。然而,来自发表在Nature期刊上的这篇新闻特稿[1]的调查对象提出更好地理解统计学原则、更好地导师指导、更加强健的实验设计、更多的实验室内验证和更好的教学是改善可重复性的潜在方法。再者,期刊、资助机构和研究机构应当针对论文和实验方法的验证采取更加严格的标准,即便是付出增加同行评审时间的代价,因此更多的研究人员将会采取这种行为和为他们的科学发现提供更多的信心。
除了这些建议之外,我认为在开展类似的研究课题的科学家们之间进行更加有效的合作可能会解决这个问题。然而,这些初始的合作性沟通可能是比较困难的。在当前,不到20%的研究人员[1]说,他们被另一名不能够重复他们的研究结果的研究人员接触过。接触过其他研究人员的研究人员有风险显露出自己没有能力、面临指责,或者披露太多他们自己的项目信息[1]。尽管这种方法看起来几乎不可能的,但是它可能为研究人员能够严格地验证他们的研究成果和在他们的职业生涯中进一步取得进展提供一种讨论的机会。
尽管对科学研究而言,完全可重复性或许是不可能的,但是我鼓励职业早期的研究人员思考他们如何可能能够改善他们自己的研究的可重复性。考虑到文献中报道的大多数实验结果并没有严格地接受重复性验证(除非它们遭受质疑时),因此尽管重复研究结果可能需要更多的时间和资源,但是对研究人员而言,尽最大的努力让他们的研究结果尽可能是可靠的是非常重要的。可重复性仍然在科学中发挥着至关重要的作用,而且不可重复的研究的后果是有害的,值得人们及时关注。
【1】1,500 scientists lift the lid on reproducibility
Nature, 26 May 2016, doi:10.1038/533452a
【2】Replication and contradiction of highly cited research papers in psychiatry: 10-year follow-up
British Journal of Psychiatry, Oct 2015, doi:10.1192/bjp.bp.113.143701
【3】Estimating the reproducibility of psychological science
Science, 28 Aug 2015, doi:10.1126/science.aac4716
【4】The Economics of Reproducibility in Preclinical Research
PLoS Biology, 9 June 2015, doi:10.1371/journal.pbio.1002165
【5】Authentication: A Standard Problem or a Problem of Standards?
PLoS Biology, 14 June 2016, doi:10.1371/journal.pbio.1002477
【6】Standards for Cell Line Authentication and Beyond
PLoS Biology, 14 June 2016, doi:10.1371/journal.pbio.1002476