用于设置A/B测试的结构化指南包含假设、指标和执行就绪性的强制门控检查。技能概述ab-test-setup 技能为A/B测试提供了一套严格的结构化设置流程确保每个测试在编写代码之前都是有效、严谨和安全的。该技能通过强制门控机制防止偷看行为强制执行统计功效要求并阻止无效假设的测试。下载地址https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/ab-test-setup主要功能假设质量检查确保假设包含观察证据、具体变更、方向性预期、目标受众和可衡量的成功标准假设锁定机制在设计和指标定义之前强制锁定最终假设假设与有效性检查明确列出关于流量稳定性、用户独立性、指标可靠性等的假设测试类型选择帮助选择最简单有效的测试类型A/B、A/B/n、MVT、Split URL指标定义定义主要指标、次要指标和护栏指标样本量计算基于基准率、MDE、显著性水平和统计功效计算所需样本量执行就绪性门控确保所有必要条件满足后才能开始实施触发条件在以下情况下应该调用此技能:需要设置新的A/B测试时需要验证测试假设的有效性时需要确定测试指标和样本量时需要确保测试符合统计要求时需要建立测试文档和学习记录时使用场景场景1新产品功能测试当团队想要测试新功能对用户行为的影响时使用此技能确保测试设计合理、指标明确、样本量充足。场景2UI/UX优化测试在进行界面或用户体验优化时使用此技能建立严格的测试框架避免主观判断和过早结论。场景3转化率优化在优化转化漏斗时使用此技能确保测试能够准确衡量变更效果并设置适当的护栏指标。处理过程1. 前置条件检查确保具备以下条件明确的用户问题、分析数据源的访问权限、大致估算的流量规模。2. 假设质量验证验证假设是否包含观察或证据、单一具体变更、方向性预期、定义的受众、可衡量的成功标准。3. 假设锁定硬门控在继续设计变体或指标之前必须呈现最终假设明确目标受众、主要指标、预期效果方向和最小可检测效应MDE。4. 假设与有效性检查明确列出关于流量稳定性、用户独立性、指标可靠性、随机化质量和外部因素的假设。如果假设薄弱或被违反警告用户并建议推迟或重新设计测试。5. 测试类型选择选择最简单有效的测试类型默认为A/B测试除非有明确理由选择其他类型。6. 指标定义定义主要指标单一成功评估指标、次要指标提供上下文和护栏指标防止有害胜利。7. 样本量与持续时间计算基于基准率、MDE、显著性水平通常95%和统计功效通常80%计算所需样本量和预期测试持续时间。8. 执行就绪性门控硬停止只有当假设已锁定、主要指标已冻结、样本量已计算、测试持续时间已定义、护栏已设置、跟踪已验证时才能继续实施。输入要求使用此技能时,用户需要提供:明确的用户问题描述访问分析数据源的权限大致估算的流量规模初步的测试假设预期的变更内容输出说明技能将提供:验证过的测试假设明确的测试类型建议完整定义的指标体系主要、次要、护栏计算出的样本量和测试持续时间执行就绪性检查清单测试文档模板使用示例示例: 设置一个按钮颜色变更的A/B测试不要提前停止测试即使早期结果看起来很好也要等待预定的样本量达到不要在测试中途更改变体这会破坏测试的有效性不要添加新的流量来源保持流量源的一致性不要重新定义成功标准主要指标必须在测试前冻结记录所有学习无论测试结果如何都要记录学习内容以避免重复失败尊重护栏指标即使主要指标获胜如果护栏指标失败也不要发布测试结果分析结果行动显著正向考虑发布显著负向拒绝变体记录学习不确定考虑增加流量或更大幅度的变更护栏失败不要发布即使主要指标获胜注意事项测试期间仅监控技术健康状况不要基于好看的结果提前停止不要将结果推广到测试人群之外不要在测试变更之外声称因果关系区分统计显著性和业务判断将测试记录存储在共享、可搜索的位置