大多数已发表的研究都是错的吗?

Is Most Published Research Wrong?

频道:Veritasium · 时长:12:22 · 发布:2016-08-11 · 播放:6205301

在 YouTube 观看

简介

Veritasium 解释了为什么很大一部分已发表的研究发现可能是错误的,涵盖 p 值、p hacking、发表偏倚和低重复率。它借鉴了 John Ioannidis 的著名论文,并描述了预注册等改革。

HN 为什么推荐

每当有不可靠的研究或 p<0.05 阈值出现时,HN 评论者就会链接它,作为科学中假阳性的简短入门。

这个视频是一个很好的入门。 — HN, 2018

数据科学与统计 · 科学方法与科学传播

中文字幕节选

2011年,一篇论文发表在声誉卓著的《人格与社会心理学杂志》上。 论文题为《感知未来:认知与情感中异常回溯影响的实验证据》, 换句话说,就是证明人能够预见未来的证据。 该论文报告了九项实验。在其中一项里,参与者看到电脑屏幕上的两块帘子, 并被要求预测哪一块后面有图像,另一块后面只是一面空墙。 参与者做出选择后,电脑随机将一张图像放在其中一块帘子后面, 然后拉开所选帘子,展示图像或空墙。 图像随机选自三类:中性、负面或色情。 如果参与者选中了盖住图像的帘子,就算命中。 既然有两块帘子,图像又随机放在其中一块后面, 你会预期命中率约为百分之五十。 而这正是研究者发现的——至少对负面和中性图像而言。 然而对于色情图像,命中率为百分之五十三。 这是否意味着我们能预见未来?这个微小偏差显著吗? 为了评估显著性,科学家通常借助p值, 这一统计量告诉你,如果零假设为真,出现至少如此极端结果的概率有多大。 在本例中,零假设就是人无法真正预见未来, 53%的结果只是运气好猜中。 这项研究的p值为0.01,意味着仅凭运气得到53%或更高命中率的概率只有1%。 p值小于0.05通常被认为显著,值得发表, 但在接受人类能准确感知未来、并邀请论文作者上你的新闻节目之前, 你或许想用更高的标准。不过,随你便。 毕竟,0.05这个阈值是罗纳德·费雪在1925年出版的一本书中任意选定的。 但这引出一个问题:已发表的研究文献中究竟有多少是假的? 直觉答案似乎是百分之五。我的意思是,如果 所有研究都正确进行,零假设为真,且只发表p值小于0.05的结果, 那么大约5%的已发表研究仍会因偶然性而显示显著结果。 但实际情况远比这复杂。 约翰·伊奥尼迪斯在2005年发表的一篇著名论文中论证, 大多数已发表的研究发现可能都是假的。 每个人都把p值小于0.05作为统计显著性的 临界值,你会预期每一百个结果中有五个是假阳性 但不幸的是,这严重低估了问题,原因如下。 想象你是一名研究人员,在一个领域里有一千个假设 正在被研究。 假设其中百分之十反映了真实关系,其余 都是假的,但当然没人知道哪些是真哪些是假,这正是 做研究的重点。现在,假设实验设计得相当好, 它们应该能正确识别出大约一百个真实关系中的八十个 这被称为百分之八十的统计功效,所以有二十个结果是假 阴性,也许是样本量太小或测量不够 灵敏。现在考虑从那九百个假假设中,使用 p值为0.05,四十五个假假设会被错误地 认为是真的。至于其余的,它们会被正确识别为假 但大多数期刊很少发表阴性结果:它们只占百分之十到三十 的论文,取决于领域,这意味着最终 发表的论文将包括八十个真阳性结果: 四十五个假阳性结果,也许还有二十个真阴性结果。 近三分之一的发表结果将是错误的 即使系统正常运作,如果研究功效不足,情况会更糟, 分析表明它们通常如此,如果被检验的假假设与真假设的比例更高,

HN 上的讨论

维基百科在教授数学方面是出了名的糟糕。这个Veritasium视频很好地解释了这种偏斜的先验如何在我们当前的学术体系中轻易出现,以及这个悖论的一般情况:[VIDEO] — KK7NIL, 2025-12
请观看这个视频。它清晰地展示了为什么你应该对小规模和不够严谨的研究持怀疑态度,即使有很多研究给出了一些结果:[VIDEO] — scotty79, 2021-08
又要开始“p = 0.05 是随机选择”和关于 p-hacking 的长篇大论了。有人想讨论吗?感觉关于小样本偏差和 p-hacking 危险性的所有内容都已经说过了。但在这里讨论似乎又是不可避免的。不知道能不能从中得到什么新见解……关于 p 值为何具有误导性的背景,请看[VIDEO],非常精彩。他指出 0.05 是 Ronald Fischer 在 1925 年选定的,人们从此就一直沿用。 — sillysaurusx, 2020-10
如果测试数据不是 50/50 的划分(或接近这个比例),那标题就是彻头彻尾的谎言。偏斜的测试数据是研究中最常见的问题,让我想起 Veritasium 这个很棒的视频(大多数已发表的研究都是错的吗?):[VIDEO] — r_singh, 2018-02
老兄。请你去补补课,了解一下科学是怎么运作的。我都替你感到尴尬。可重复性危机指的是科学文献中假阳性结果的普遍存在。这个视频是个很好的入门:[VIDEO] 假阳性是指一篇论文说"这有效",而实际上无效,原因是他们样本中的统计偶然。即便把可重复性危机当作相信某个科学反复发现为假的东西的借口,本身就是一个很糟糕的相信理由(这绝对是)……它也根本不适用,因为关于神经语言程序学不可能有假阳性结果,因为关于神经语言程序学根本没有任何阳性结果。就连神经语言程序学从业者自己发表的论文,也无法产生超过安慰剂的可检测效果。抱歉,朋友,这是一次干预。你身处一个邪教。你说的论调和顺势疗法、信仰治疗师和算命先生一模一样。 — hannasanarion, 2018-11

相关视频