目录 先说结论1662 人是真的但那个领先 8.78 分撑不起结论 三套数字的量级差异比AI 有没有用更重要 更硬的证据三项独立元分析告诉我们什么 为什么企业的31.2 分和独立研究的 0.125 sd 差这么远⚙️ 我更想指出的把AI 老师当产品定位本身有问题 落到 SPARK 融合平台教育 AI 最该先做的是数据底座不是模型✅ 如果你在评估教育 AI这 8 条可以直接拿去用 写在最后 聊聊你那边 先说结论1662 人是真的但那个领先 8.78 分撑不起结论先讲清楚我在核实什么。这个月教育 AI 领域流传最广的一组数字是某品牌做了一项1662 名学生参与的 AI 与真人教学对照实验六年级 AI 组领先 8.78 分七年级领先 13.84 分刷新吉尼斯世界纪录。数字本身是真的。吉尼斯官网有一页独立记录我查到了原始条目项目官方记录内容纪录名称最多人参与的 AI 与传统教学差异化实验纪录保持者Squirrel Ai Learning Inc.松鼠Ai纪录成绩1,662 人地点中国上海达成时间2025-08-05核实时间2025-12-15被试构成五所学校的六年级与七年级学生吉尼斯核实的是参与人数这一项不是教学效果这一项。这是最容易被读错的地方——纪录名称里说的是参与人数最多的差异化实验不是效果最好的实验。再往下一层看设计。吉尼斯页面上的原文是学生被随机分配到两组一组通过松鼠 AI 系统接受教学另一组由真人教师授课。到这里看起来还很规范。但有几个问题没有被回答随机分组由谁执行如果由企业自己分配而不是独立第三方这本身就是可争议的环节。真人组的教学内容是什么是同一套教材、同样的进度还是别的安排两组使用的学习时长是否一致如果 AI 组是课外额外使用、真人组只是常规课堂那测出来的是加课 vs 不加课。由谁出题、由谁阅卷期末考试如果由企业参与命题成绩口径就不是独立的。五所哪五所学生背景写成 “representing diverse educational backgrounds”但没有一所学校名单。这些不是我在挑刺——任何一项随机对照实验问清这五个问题是读懂它的最低前提。吉尼斯页面没写说明要么没做要么做了没公开。而在公开材料里这五个问题一个都没答案。 三套数字的量级差异比AI 有没有用更重要这是我这篇最想让大家看的一张表。我把能找到的三个不同来源的效果数字并排放在一起注意看分数差距和效应量的换算关系来源样本数字换算效应量谁做的山东聊城文苑高中未披露使用组 104.7 分 vs 未使用组 73.55 分满分 120差31.2 分约 0.4~0.5 sd粗估企业自报发表于《中国教育信息化》吉尼斯 1662 人实验2025-12 核实1662 人六年级领先8.78 分、七年级领先13.84 分约 0.15~0.25 sd粗估企业自报 吉尼斯只核人数2026 元分析47 项 RCT北京林业大学47 项 RCT / 59 个效应量学业成绩Hedges’ g 0.68p0.0010.68 sd同行评议2026 元分析Asia-Pacific Education Researcher49 项对照实验0.44995% CI 0.194–0.7040.449 sd同行评议世界银行系统综述14 项 RCT / 191 效应量 / 10 国14 项 RCT自适应与 AI 教育技术0.125 sd0.125 sd同行评议 政策机构这里有个必须说清楚的量级问题。31.2 分的差距满分 120听起来惊人但如果对照组是没上过这个课那测的是加了课 vs 不加课不是AI 教学 vs 真人教学。这两件事经常被混为一谈——前者测的是投入后者测的是替代。而吉尼斯实验的 8.78 分和 13.84 分换算成效应量大约落在0.15 到 0.25 sd之间。这个数字比同期任何一项独立元分析都低甚至只有世界银行那个 0.125 sd 的两倍左右。也就是说如果这个实验是真实、严格的它测出的效果恰好比AI 教学平均有效的独立估计低不了多少。一项要是真的打败了常规教学不应该是这个量级。至于那个AI 教学组在平均成绩、优秀率、合格率等关键维度上均展现出明显优势的表述——注意这里没有一个具体数字。三个维度、三个明显优势全是定性词。对照实验的价值在于定量表述一个数字都不给的对照实验本身就说明结论的置信度有限。##⚠️ 更正这个实验的时间线被写错了至少两处我在核实过程中发现这个实验的时间信息在不同报道里互相冲突而且冲突方向对宣传方有利。项目说法 A说法 B冲突实验完成时间“2025 年松鼠Ai 完成了这场……吉尼斯世界纪录挑战成功”“2025 年 12 月松鼠Ai 完成了这场……吉尼斯世界纪录挑战成功”少了月份限定吉尼斯核实2025-12-15 核实2025-08-05 达成吉尼斯页面明确分列两个日期正确的读法是实验达成日 2025-08-05吉尼斯核实日 2025-12-15。中间隔了四个多月。这个间隔本身不说明任何问题——吉尼斯核实本来就可能滞后。但当2025年12月完成这个说法被广泛转载时会形成一个误导读起来像是年底才做的新实验而实际上是 2025 年 8 月完成、年底才拿到认证。第二个更正更关键。前文提过的那条历史数据被反复引用“2017 年 10 月松鼠 Ai 在郑州举办了亚太地区第一场人机大战AI 教学机器人比真人教学平均高出 9 分。”这条没有任何可核查的实验设计信息——多少学生、怎么分组、什么科目、谁出卷、成绩怎么统计全部空白。而且它出现在企业的公开演讲材料里被当作历史实证反复使用。同时被引用的还有此后在成都、山东、全国 100 个城市持续开展的对比实验中AI 教学组均战胜了真人教师组。“100 个城市、均战胜”——这个表述没有任何可核查的支撑我未查到公开的实验报告或论文不予引用。需要说清楚的是我不是说这些数据是假的。我是说它们无法被验证。在教育这种涉及未成年人、影响家庭重大支出的领域无法验证本身就构成一个问题。 更硬的证据三项独立元分析告诉我们什么如果企业的自报数据只能存疑那就看独立研究。2026 年这个领域恰好出了三项质量不低的元分析我把它们的核心结论整理如下元分析一47 项纯 RCTg 0.68但有拐点北京林业大学 Xiaotian Ren 与 Xiao Yu 团队发表于《Educational Psychology Review》。47 项随机对照试验59 个效应量。结果维度效应量显著性研究数学业成绩g 0.68p 0.00137社会情绪焦虑、压力、孤独g −0.37p 0.058不显著11认知能力g 0.17p 0.480完全不显著11这三行数字的关系是本文最重要的一件事。成绩提升 0.68 是真的。但认知能力提升 0.17且统计上完全不显著。作者的解释是这与认知科学里一个反复出现的发现一致——在受训任务上的表现可以提升而底层心智能力并没有随之提升。换句话说AI 帮学生把作业做对了但没有证据表明它帮学生变得更会思考。这篇论文最有价值的部分还不是上面三个数字而是它的剂量-反应分析用限制性立方样条restricted cubic splines拟合干预时长与学业成绩的关系结果是倒U 型曲线峰值约在 22.79 小时。累计干预时长学业效果0 ~ 少量快速上升约 22.79 小时达到峰值超过峰值后走平略有下行这直接反驳了用得越多越好的朴素假设。作者给出的机制猜测是当学习者到达收益递减点或者开始过度依赖这个支架时边际收益就消失了。顺便说一句学术圈打麻将把23小时叫小.Charm这个词条我一直觉得用来形容这个拐点过于精准——那正是胡牌前的最后一段之后就是纯输。元分析二49 项对照实验0.449《Asia-Pacific Education Researcher》2026 年 3 月 25 日发表。49 项对照实验含 RCT 与准实验随机效应模型 trim-and-fill 校正发表偏倚。结论合并效应量 0.44995% CI [0.194, 0.704]。AI 辅助学习显著改善学习态度、学业成绩与学习动机。比第一项低不少但方向一致。有意思的是它把发表偏倚校正单独做了——trim-and-fill 是专门用来修正阳性结果更容易被发表这个系统性偏差的。做完校正还剩 0.449说明真实效应确实存在只是没有宣传材料里那么夸张。元分析三世界银行 0.125 sd和一个更狠的结论这一项是我认为最应该被广泛传播的因为它来自政策机构世界银行系统综述而且它的结论比前两项都更保守。14 项 RCT、191 个效应量、10 个经济体。维度效应量自适应与 AI 教育技术对学习的总体提升0.125 sd生成式 AI 相对于第一代自适应软件的额外优势0.022 sdSE 0.075社会情绪/行为结果0.029 sd仅 5 篇论文教学实践结果与零无法区分仅 3 项研究第二个数字是全文最关键的生成式 AI 相比传统自适应软件额外优势只有 0.022 个标准差标准误 0.075。用统计语言说这个区间是 [−0.15, 0.19]宽到只能框住而根本无法解决这个比较。翻译成人话到 2026 年为止实验记录不支持生成式 AI 比十年前的自适应软件更有效这个判断。而它对 AI 辅导的定位也很克制AI 辅导的平均效果 0.12 sd低于人类辅导的 0.288 sdNickow et al. 2024只是成本是它的一小部分。三个数字摆在一起人类辅导 0.288 sd AI 辅导 0.12 sd。这不是AI 取代老师的证据这是AI 是便宜的次优替代的证据。还有一句必须引用的话来自这项综述的作者「提升主要不是由用了哪项技术决定而是由它是否被嵌入一个合理的教学策略决定。」明确目标、对齐课程、有防止滥用的保障——这三个条件比技术本身重要得多。这句话应该是所有教育 AI 项目的第一句设计要求。 为什么企业的31.2 分和独立研究的 0.125 sd 差这么远这是本文的核心问题也是最有价值的问题。因为搞清楚这个差距来源就搞清楚了一整类商业传播的运作方式。我把差异来源列成一张表来源典型做法效应量虚高原因前后测对比聊城文苑高中用过 vs 没用过自选择偏差愿意花钱买学习机的家庭本身投入度就高企业自办对照实验吉尼斯 1662 人企业自己分组、自己出题分组与评分环节缺乏独立性纳入元分析的 RCT第三方随机分配效应量被控制在真实条件下世界银行综述只纳入政府无关、已发表的排除研究者参与实施的项目后进一步下降注意最后一行。世界银行综述自己披露了它的样本有多窄没有一项研究在低收入国家进行19 个干预中有 16 个研究者参与了实施没有一项由政府单独实施。这个自我披露很诚实也很致命。意思是——这些最好的效果是在研究者自己盯着、有额外资源投入的条件下得到的。换成政府单独推行、不额外投入、教师用现成工具这个真实条件下的效果目前的实验记录基本是空白。而这恰恰就是江苏 903 万人次教师培训面临的问题培训完成之后日常教学中没有人盯着效果会不会衰减到 0.125 sd 甚至更低这个问题目前没有人能回答因为没人做过这个测量。⚙️ 我更想指出的把AI 老师当产品定位本身有问题在核实数据的过程中松鼠Ai CTO 樊星的一段论述引起了我的注意。他认为教育 AI 的关键在于回答一个比这道题怎么做更复杂的问题学生此刻应该学什么、为什么先学这个、有限时间如何分配。这个观点我完全同意——而且我认为它是对的方向。教师每天真正花时间的不是批改是决定下一个讲什么。但把这套能力称为AI 老师我认为有一个隐含问题教师的核心工作里最不该被替代的恰恰是这一部分。决定下一个讲什么看起来是可计算的实际上它依赖三类东西决策所需可结构化程度谁更适合做这个知识点全班掌握到什么程度高可测量AI 合适这个学生上周情绪状态如何低数据不可得或不可靠人班上刚发生的事会不会影响这节课极低需现场感知人哪个学生需要一次单独谈话低依赖关系人AI 在第一行表现优秀在后三行基本无能。而后三行恰恰是老师这个词的核心。这不是我在贬低 AI。有个反面例证可以对照World Bank 综述明确指出效果最好的干预恰恰是被嵌入合理教学策略的那些——也就是说AI 做得最好的场景是它明确知道自己只是执行环节。同样的道理在教育领域还有一个更强的证据让孩子亲手教 AI 识别错误这个设计之所以有效正是因为孩子是主体、AI 是被教对象。一旦把 AI 放在老师的位置上被信任的就不是数据而是那些从未经过独立验证的分数。 落到 SPARK 融合平台教育 AI 最该先做的是数据底座不是模型聊到这里我想说点实际的。我做企业级 AI 工作台教育是我接触的垂直行业之一。客户最常问的问题是能不能把某某学习机接进来但更该问的问题是**“接进来之后这些数据能不能被核查”**。在 SPARK 融合平台上我会做四件事1. iPaaS 优先接数据源而不是优先接模型。教育数据分散在学情系统、考试平台、家校通、教辅硬件、AI 助教里口径完全不同。先做统一接入 元数据管理在没有统一口径之前谈自适应学习等于在算错的分母上做优化。2. 治理中心前置把口径定义放在分析之前。这个学生的掌握度到底是 70%还是 75%取决于知识点拆分粒度和判定规则。这套规则必须由教研专家定义、由系统强制统一不能让每个产品各自一套。我在治理中心做的第一件事就是把这些口径卡片变成可版本管理、可追溯的对象。3. 全域守卫按学生 × 教师 × 家长 × 学科四维划权限。未成年人数据同时受个人信息保护法与未成年人保护法约束。我的做法是按角色 × 学段 × 字段做细粒度授权跨班访问、跨学段访问、家长越界访问全部留痕可回溯。在教育场景这不是加分项是准入门槛。4. 与编排平台Dify 这类明确分工。Dify 负责快速搭出一个能用的教学应用SPARK 负责保证这个应用用的是有权限、有口径、可追溯的数据。前者解决效率后者解决可信。但我必须重复上一期那句话平台只能让判断标准变得可执行、可追溯判断标准本身对不对仍然需要教育专家来定。平台不知道学生的思维路径该怎么拆它只能保证这个拆分规则被记录、被版本管理、被审计。这是它的边界也是它唯一该待的地方。✅ 如果你在评估教育 AI这 8 条可以直接拿去用凡吉尼斯纪录先确认认证的是哪一项。认证参与人数不等于认证教学效果——这是两个独立维度。用过 vs 没用过的对比一律打折。自选择偏差在这个场景几乎必然存在家庭投入度是隐藏变量。看独立元分析不看企业发布会。目前最可信的三个数字是 0.68 / 0.449 / 0.125 sd取值差异本身说明口径差异。记住 22.79 小时这个剂量拐点。超过之后效果走平甚至略降用得越多越好在教育 AI 上没有证据。警惕认知能力不显著这条被忽略的结论。成绩提升 0.68 与认知提升 0.17p0.480同时成立是AI 教育最重要的真相。别信生成式 AI 优于传统自适应软件。差值 0.022 sd、SE 0.075区间宽到无法判断。问一句技术决定效果还是教学策略决定效果世界银行的答案是后者那就先投策略。优先找让 AI 出错、让人纠正的场景设计。主体性在谁手里决定了三个月后学生还剩多少独立能力。 写在最后回到开头那个问题AI 教学到底有没有用我的答案是分层的有用——多项独立元分析都确认了学业成绩的正向效应效应量在0.125 到 0.68 sd 之间。但有天花板——元分析一给出的倒 U 型曲线显示累计约 23 小时后收益见顶。而且不改变什么本质——认知能力效应量 0.17统计上完全不显著。AI 帮学生把作业做对了没有证据表明它帮学生变得更会思考。这三句话合起来就是我在文章开头想说的那个判断1662 人是真的那个领先是真的但它们撑不起AI 老师这个结论。把整个判断链画成一张图更清楚所以我更愿意用的措辞是AI 是便宜的次优替代——效果 0.12 sd 对人类辅导 0.288 sd成本小得多。这是真实的价值不需要包装成革命。至于认知能力那0.17——这一条是留给教育的不是留给 AI 的。 聊聊你那边我自己做的是企业级 AI 工作台对教育这个场景只能算是从旁边看。但有个问题我很想听听大家的看法。在数据里我看到三种截然不同的叙事省级政府说全覆盖、校校开课企业说1662 人对照实验领先 8.78 分独立研究说平均 0.125 sd认知能力无显著提升。想问你两件事如果你给孩子买过或用过 AI 学习产品你实际感受到的效果和宣传差多少我特别想知道买了之后孩子有没有变自觉这件事的真实答案。如果你在教育行业你见过学校实际使用 AI 工具的数据吗那些数据最后是被用来改进了教学还是只用来填报表评论区聊聊我看到有价值的会专门整理一篇深挖。本文数据来源吉尼斯世界纪录官方页面记录保持者 Squirrel Ai Learning Inc.1,662人达成2025-08-05核实 2025-12-15、《Educational Psychology Review》2026 年 47 项 RCT 元分析Ren Yu北京林业大学、《Asia-Pacific Education Researcher》2026 年 49 项对照实验元分析Liu et al., 2026-03-25、World Bank / EdTechDev 2026 系统综述14 项 RCT / 191 效应量 / 10 国、松鼠Ai 官方发布会与媒体公开报道。文中对流传数字的更正与拒引判断为本栏目核实结论。