很多人读研究时会踩一个大坑一篇实验「没有得出统计学显著的结果」就直接解读成「这个方法没用」。 但统计学有一句经典名言缺乏证据 ≠ 证明不存在Absence of evidence is not evidence of absence。 什么时候我们才可以有理有据地宣称某样东西真的没有实际效果这篇文章就来讲清楚这件事一、一个常见的逻辑陷阱我们经常看到这类说法“目前没有高质量证据证明这款保健品能减重所以它对减重没有效果。”这句话听上去合理但其实犯了一个统计学错误。没有找到效应的证据absence of evidence ≠ 找到证据证明效应不存在evidence of absence举个直观例子 你用一台分辨率很低的显微镜去观察病毒。视野里看不到病毒不能证明样本里没有病毒只能说明设备灵敏度不够我们无法确认病毒是否存在。这就是「缺乏证据」。只有使用足够高精度的设备反复观测依然没有发现病毒我们才有理由说样本中不存在病毒。这才是「证据证明不存在」。放到临床试验里 一项小样本实验得出不显著结果有可能是干预本身真的无效但也有可能是样本太少、噪音太大哪怕真实存在效果实验也检测不出来。此时只能说证据不足暂时无法下判断而不是直接下定论说无效。很多科普文章、媒体报道甚至学术论文都常常混淆这两个概念。二、传统显著性检验p 值根本没法证明 “没有效果”我们最熟悉的统计方法零假设显著性检验NHST也就是大家常看的 p 值。它的逻辑是先假设两组完全没有差异零假设 H₀如果数据和这个假设冲突足够大p0.05我们就拒绝零假设认为存在效应。⚠️ 重点来了如果 p0.05结果不显著统计上只能写「我们无法拒绝零假设」。 这句话不等于 “零假设是对的”不等于证明没有效应。不显著的结果存在多种可能性• 干预确实没有效果• 干预有效但样本量太小统计效能不足没能检出效应• 实验噪声大、测量误差高掩盖了真实效应。一个经典反例靠 “数显著结果” 判断效果会翻车有一种错误做法叫「计票法」汇总多篇研究数一数有多少篇显著、多少篇不显著。如果大部分研究结果不显著就宣称这个疗法无效。统计学界早就明确反对这种做法。 文章举了他莫昔芬的例子28 个独立临床试验单独看绝大多数试验结果都不显著但把所有数据合并做元分析之后能清晰看到药物对降低乳腺癌死亡率有明确效果。如果单纯靠 “数显著与否”我们就会得出完全相反、错误的结论。反过来还有一个坑超大样本下哪怕效应微小到现实中毫无意义也能做到统计显著。 统计显著 ≠ 现实中有意义。 只看 p 值做二分判断会丢失最核心的信息效应有多大估计的精度如何。✅ 核心观点不要只盯着 p 值优先看效应量和估计区间。三、四种方法真正支持 “干预没有实际效果” 的统计工具如果我们想要得到「证据证明不存在有实际意义的效应」不能依赖传统 p 值检验。文章介绍了四种可行方案每种都有自己的适用范围与局限。等效检验Equivalence TestingTOST传统检验默认假设 “没有效应”然后尝试推翻它。等效检验颠倒了举证思路。操作思路提前定义多大的效应才算有实际价值。小于这个阈值的效应就算作无关紧要、可以忽略。检验假设变成是否存在这个有实际意义的效应。如果最终数据表明效应落在我们预先划定的 “无实际意义区间” 内我们就可以拒绝 “存在有效效应”支持结论不存在有实际价值的效果。局限在很多学科普及度不高同样会受到样本量、统计效能限制。贝叶斯因子Bayes Factor贝叶斯因子可以直接比较当前数据到底是更支持「存在效应」还是「不存在效应」。一般规则贝叶斯因子 BF₀₁ 足够大常见阈值 3、6、10代表数据更支持零假设也就是效应不存在。⚠️ 巨大风险贝叶斯因子高度依赖先验分布。很多人直接套用软件默认先验很容易得出误导性结论。作者提醒机械套用默认参数属于 “膜拜公式的统计学”要警惕。置信区间兼容区间不用纠结 p 值直接看效应量的区间估计。• 如果置信区间很宽同时包含 0 和很大的效应值信息不足只能是缺乏证据不能说无效• 如果置信区间很窄整个区间全部落在「现实中无意义的微小效应范围」这时我们才有依据认为不存在值得关注的效应。补充小科普频率派 95% 置信区间不是 “真实参数有 95% 概率落在区间里”。频率派视角下真实值是固定的区间是随机的。单次计算出来的区间要么包含真值要么不包含。贝叶斯可信区间HDPI ROPE实际等效域贝叶斯版本的区间思路。先划定 ROPE一个效应足够小、在现实中等同于无效的区间。• 95% 最高后验密度区间HDPI全部落在 ROPE 内部支持无实际效应• HDPI 完全落在 ROPE 之外支持存在效应• 两者部分重叠证据不足暂缓下结论。局限小样本场景下结果会受到先验分布的明显影响。四、科研里很重要的一个态度不必强行给出是非判断很多人默认做完研究就一定要得出 “有效 / 无效” 二选一结论。但扎德·拉菲提出不是所有数据都足够回答我们的问题。 当证据不够的时候最严谨的做法是悬置判断现有信息不足以确认而不是强行站队。还有一个常见误区有人认为不显著结果再配上事后效能分析就可以证明真实效应很小。文章指出事后功效分析本身存在缺陷这个推理逻辑站不住脚。上面介绍的等效检验、贝叶斯因子、区间估计都有各自的前提假设。 统计推断永远依赖模型设定统计结论不等于绝对真理。工具只是帮我们量化证据强度不能代替逻辑思考。缺乏证据 ≠ 证明不存在。p 值不显著仅仅代表实验没能检出效应。想要宣称某件事真的没有实际效果需要专门的统计设计预先定义有意义的效应大小、足够的样本量、狭窄的效应区间或是等效检验、贝叶斯因子这类方法。下次再看到 “研究没发现效果” 的新闻别急着下结论先想一想这到底是证据不足还是证据证明无效