报告评审意见与修改建议四、指导建议按优先级分三档。P0 为低成本高收益项合计约 1–2 天工作量。P0必做四项实验一处修数据P0-1重叠时间窗的分层校验做法把两版都截取到 2021–2025 窗口重算 Jaccard、双向覆盖率、共有篇数给出全量 / 仅 2021–2025 / 仅 2023–2025三口径的对照表对 A1。判读规则若重叠窗口 Jaccard 明显高于 3.7% → 结论 6-1 改写为时间窗差异是低重叠的主要原因之一并下调两条文献河的叙事强度若仍接近 3.7% → 原结论成立且更强可明确写出低重叠并非时间窗造成。成本约 20 行 Python可直接追加到analyze.py。P0-2增设基准集gold standard做法标准方案由 2 名研究者独立分层抽取 60 篇共有集 / AI 独有 / 人工独有各 20 篇判定是否属于本主题核心文献计算 Cohens Kappa 一致性与两版的 precision / recall。做法低成本替代取目标领域 1–2 篇高质量综述的参考文献列表作为基准集计算两版对其的覆盖率。收益把谁更好从推断变为实测——这是全文最缺的一块也是审稿人最可能提出的问题。P0-3分离载体效应做法按文献类型期刊 / 报纸 / 学位论文 / 会议分层重算 12 个字段填充率与方法密度额外给出一列剔除报纸 学位论文后的合并口径对 A3。判读规则若合并口径下 IS/vo/YR 的负向差异消失 → 结论 3-1 须改写为载体结构差异导致的表观差异并删除或大幅修改关于数据质量下降的表述。P0-4补齐显著性检验做法对 12 个字段填充率、5 个年份分布指标、9 个方法族密度逐一做卡方检验或两比例 z 检验标注 p 值对外键性结论规模差异、覆盖率差异给出 95% 置信区间对 A4。成本scipy.stats追加调用可在同一脚本中完成。收益结论 02 的没有质变只有微调可精确改写为12 项指标中 3 项显著、9 项不显著信息量反而更大。P0-5统一数据口径与图序10分钟统一唯一作者数1261/657 与1318/673 二者取一并注明口径差异来源在摘要与1.2 节明确876 条记录 / 834 篇唯一文献的区分图表按编号重排建议将图 9 改为图 3b、图 8 改为图 4b或移至附录标注两版检索的执行日期。P1建议做提升学术说服力编号建议对应问题P1-1公开两版检索式原文AI 的prompt 生成检索式 人工检索式与检索日期、命中总量共同构成可复现三元组附录中同步列出知网返回总量以供对账B1、B2、C7P1-2补8–15篇同类研究引用重点接入 AI 辅助综述实验、ChatGPT vs 传统检索对比、PRISMA 2020 / PRISMA-S 检索报告规范把报告嵌入已有文献脉络B4P1-3归因降调结论 5-2 改为检索式风格差异导致的召回结构差异把AI 能力更强明确降级为待验证假设AI 盲区画像改为人工检索式覆盖而 AI 检索式未召回的文献集合B3、B5P1-4明确适用边界所有核心结论限定为在知网、该主题、该时间窗、该检索式下成立并给出一条可迁移性声明避免被读者当作普适结论A5、B3P1-5精简 AI产品评测内容7.1 节压缩为一段文字图 10 与附录 A1–A7 移入独立附录或删除仅保留 1–2 张作数据溯源B6P1-6补结论—证据—强度映射表把摘要六条结论 8.1 五条结论逐条标注对应证据与证据等级A 直接数据 / B 推断 / C 假设。这是提升规范性最省力的一招10 分钟即可完成全部P2结构性升级面向正式发表或更高目标编号建议预期收益P2-1扩展为多源对照追加 Web of Science 或 Scopus 导出同样两轮检索检验低重叠是知网的特性还是通用现象决定结论能否脱离知网场景P2-2扩展主题加1 个理工或临床主题如 CAR-T 细胞治疗、mRNA 疫苗检验两条文献河是否跨学科成立决定结论能否脱离数字经济×碳减排P2-3重复实验同一 prompt 在两个时间点各跑一次报告 AI 检索式自身的稳定性同 prompt 两次结果的 Jaccard直接回应 8.4 节的不可复现质疑P2-4补齐效率侧指标检索耗时、人工修正次数、人工判读采纳率让效能标题名副其实兑现 8.4 的展望P2-5引入语义层证据用 embedding 相似度补充而非替代Jaccard报告语义层重叠度回应Jaccard 低≠ 主题无关这一高频质疑五、给三类读者的即时行动建议研究生 /写作者可直接采用 8.2 节的双轨工作流AI 开路 → 传统兜底 → 交叉验证但请务必自行补做 P0-1重叠窗口校验与差集抽查否则会系统性高估两版差异若综述写理念—路径—政策方向AI 检索式几乎不可单独使用。图书馆 /教研室把标题指纹查重 差集复查做成 SOP 时请在模板中强制增加两个字段——检索式原文与检索执行日期。缺这两项三个月后没人能复核任何一次检索结果。同时建议把 P0-3载体效应分离纳入培训材料这是学生最容易犯的统计错误。数据库厂商8.3 节的两条建议Refworks 导出续行修复、导出面板提供AI 增强字段方法标签 / 因果识别类型落地性强可直接转为产品需求条目。建议补充第三条提供检索式导出与命中总量对账能力让用户能自查导出是否发生截断——这是本次研究中唯一无法自行解决的数据可信度障碍。六、结语这份报告的问题意识与核心发现是站得住的尤其是 Jaccard 3.7% 与高召回 ≠ 高覆盖的判断以及主动披露数据缺陷、自我复核前期 AI 产出的做法体现了作者超出一般学生作品的严谨意识。它的短板集中在实证设计的可控性上时间窗未对齐、没有基准集、载体效应未分离、无显著性检验——这四项使得大量结论目前处于合理推断而非已证实的状态。加上图表顺序错乱与两版文件不同步等编辑问题最终评分 5.9/10。但好消息是这四项短板几乎全部可以用一天的脚本工作补齐。补完 P0-1至 P0-4 之后报告的结论强度会有实质提升如果再补上 P0-2 的基准集标注它就从一份有意思的观察变成一份可被引用的证据。建议按P0 → P1 顺序推进P2 视时间与精力决定。