原文towardsdatascience.com/stop-the-count-why-putting-a-time-limit-on-metrics-is-critical-for-fast-and-accurate-experiments-468123776f57?sourcecollection_archive---------4-----------------------#2024-07-17为什么你的实验可能永远无法达到显著性https://zachlog.com/?sourcepost_page---byline--468123776f57--------------------------------https://towardsdatascience.com/?sourcepost_page---byline--468123776f57-------------------------------- Zach Flynn·发布于Towards Data Science ·阅读时长6 分钟·2024 年 7 月 17 日–https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/39f680e5154346a462b53fb816d38ca1.png图片由Andrik Langfield提供来源于Unsplash介绍实验通常比较在某种干预下暴露处理或没有干预对照组后某个事件的发生频率或其他总和指标。例如我们可能会比较购买次数、观看内容的分钟数或是点击某个行动号召的次数。虽然这种设置看起来可能很简单、标准且常见但它仅仅是“常见”。它是一个棘手的分析问题除非我们对计算该指标的暴露后时间进行限制。问题一般来说对于那些在暴露后仅仅对某个指标求和的指标“无限制指标”以下陈述是不成立的如果我延长实验时间如果实验有某些效果我最终会达到显著性。平均处理效应是明确定义的。在计算样本量时我可以使用正常的样本量计算方法来计算实验的时长。为了理解这个问题假设我们有一个指标Y它是X的累积和X是一个定义在单一时间单位上的指标。例如X可能是今天观看的分钟数而Y则是过去 t 天内观看的总分钟数。假设为离散时间https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/d19138bff32459c9fb06e072b9e6bafc.png其中Y是上面描述的实验度量指标即事件计数t是当前的实验时间i是单个单位的索引。假设流量以恒定速率r到达我们的实验https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/5fbf63cf982babb206f27710a4b8f68d.png其中t是我们的实验已进行的时间段数。假设每个X(i,s)是独立的并且具有相同的方差为简化起见无论是自相关等类似的问题都会以不同程度的形式出现但均值不一定是恒定的。那么https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/494ea92d49f92f3182d448db4fb4aca7.png我们开始看到问题。我们度量指标的方差随时间变化并不恒定。事实上它正在变得越来越大。在一个典型的实验中我们构建一个 t 检验来检验处理效应是否为 0并寻找反对这一零假设的证据。如果找到证据我们将说实验是统计上显著的成功或失败。那么在这种情况下t 统计量是什么样子的呢假设均值Y为零的假设。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/e0b8d6bc72711a54106370d7bf20d57d.png将n rt代入我们可以用t来表示这个表达式https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/9842cd8eabf1462cdc7cee7c671a1d94.png与任何假设检验一样我们希望在零假设不成立时随着样本量的增加检验统计量应变得越来越大从而拒绝零假设接受备择假设。这一要求的一个含义是在备择假设下t 统计量的均值应该发散到无穷大。但是……https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/93901ac881195003653053c91c91c9ae.png在时间t时t 统计量的均值只是到时间t为止度量指标的均值乘以一个与样本大小或实验持续时间无关的常数。因此唯一能使其发散到无穷大的方式是如果 E[Y(t)] 发散到无穷大换句话说我们的 t 检验唯一能保证具有任意功效的备择假设是均值为无穷大的假设。有一些备择假设无论样本大小多大都永远不会被拒绝。例如假设https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/86084fc67294c58a7becf8e619f6b2ed.png我们显然处于备择假设中因为极限均值不是零但 t 统计量的均值收敛到 1而 1 小于大多数标准临界值。因此无论我们等待实验多长时间t 检验的功效永远无法达到 1。我们在具有无限度量指标的实验中看到这一效果表现为无论实验持续多长时间置信区间都无法收缩。如果 E[Y(t)] 确实发散到无穷大那么平均处理效应将无法明确定义因为度量指标的均值不存在。因此我们处于一个情景中要么我们检测平均处理效应的渐近功效较低要么平均处理效应根本不存在。这不是一个好的情形此外这个结果并不是标准样本量分析所假设的。它假设在足够大的样本量下任何功效水平都能满足固定的、非零的备择假设。而在这里并不成立因为个体水平的方差并不是恒定的标准样本量公式中更多假设的是恒定的。方差随着样本量的增加而增加。因此标准样本量公式和方法对于无限制指标是不正确的。解决方案时间限制指标非常重要。我们应该定义一个固定的时间段在实验暴露后停止计算新的事件。例如我们可以将指标定义为实验暴露后观看视频的分钟数而不是定义为实验暴露后观看视频的总分钟数我们可以将指标定义为在接下来的两天或其他固定时间内观看视频的分钟数。一旦我们这样做在上面的模型中我们得到https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/4e56acd11b73f35aedc245fd5774ea15.png时间限制指标的方差不会随着t增加。因此现在当我们添加新数据时我们只会增加更多的观测值。我们不会在几天后更改现有用户的指标也不会增加个体水平的指标方差。除了统计上的好处外时间限制指标还使得跨不同持续时间的实验更容易进行比较。模拟为了展示这个问题的实际情况我在下面的数据生成过程中比较了无限制版本和时间限制版本的这些指标https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/16843dced818081bafdfb9603a9f442b.png在这里关注的指标是Y(i,t)如上所定义无限制情况下的X的累积和以及时间限制情况下的X在时间d时的和。我们设置了以下参数https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/985bd3b3fa50d5c761dd3cf26859308f.png然后我们模拟数据集并计算Y的均值在指标时间限制为两段时间d2和无限制情况下检验其均值是否为零的零假设。在这两种情况下我们都处于备择假设中。无限制情况下*Y(i,t)*的长期均值为0.2。我们将显著性水平设定为 0.05并在这两种情况下考虑检验的功效。从图 1 可以看出尽管样本量增加了 10 倍但无限制指标的功效始终没有提高。时间限制指标在相同样本量下接近 100%的功效。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/2895b220e82ec7cbfa889201993ce99c.png图 1. 非零备择假设的功效模拟图片由作者提供如果我们不对计数指标设置时间限制即使存在效应我们可能也没有足够的功效去发现即使我们运行实验的时间很长。结论限制指标时间是一个简单的操作但它使得我们作为实验者非常希望成立的三件事成为现实如果存在效果我们最终会达到统计显著性。平均处理效应是明确的其解释在整个实验过程中保持不变。常规样本大小方法有效因为方差并非持续增加。作为附带好处时间限制性度量通常因另一个原因增加了效能它减少了实验暴露后很长一段时间的冲击方差因此更不可能与实验相关。扎克联系方式linkedin.com/in/zlflynn/。