千笔-AIWritePaper · https://www.aiwritepaper.com生成式 AI 能很快吐出一段「看起来很专业」的 Ovid/PubMed 策略串PICO 齐、同义词多、布尔也像那么回事。把它直接写进协议附录风险在于假 MeSH、漏关键同义词、过宽灌水、与注册协议不一致以及未做召回测查就宣称「比馆员更好」。选型若停在「省时间」就会把草稿加速误当成策略终裁。本文依据 Health Technology Assessment international - HTAi 频道信息检索兴趣组 webinarThe Role of Generative AI in Search Strategy Development讲者 Lisa TjosvoldUniversity of Alberta2024-11-07约 66 分钟整理。讲者关于模型能力、提示演示与 MeSH 幻觉等经验均为视频口述未经第三方核实。实验部分用 12 条虚构迷你检索策略任务对照「人工策略清单」与「伪 GenAI 输出」不是讲者课堂原始日志_w/search-strategy-gate/。图上排为讲者经验脉络中排为 12 条任务的能用一致与假放行底部为选型终裁分层。目标说明读完你应能独立完成四件事。说清 GenAI 在检索策略开发里常能加速什么、必须人工终裁什么。把能力拆成「能用草稿层」与「不能用终裁层」。在 12 条迷你任务上复跑看清假 MeSH、漏同义词、过宽、违约、错句法与召回吹嘘。产出选型终裁表与验收 CSV终裁列写清人类必做与失败含义。视频要点讲者原话经验未经第三方核实讲者定位为卫生科学馆员主题是生成式 AI以 ChatGPT 能力为主在系统检索策略开发中的潜力与局限。她强调模型常以权威语气输出应默认响应不正确直至被核验知识截止、幻觉、偏见与环境成本都是背景限制。课堂演示围绕「成人褪黑素治疗睡眠障碍」一类问题PICO 概念化、同义词扩展、布尔拼装、翻译到 Ovid Medline / Embase 语法等。她观察到概念识别与同义词、基本布尔常有帮助但邻接运算与括号仍会错主题词是否正确必须另查。问答中她明确同意ChatGPT会幻觉 MeSH主题词必须始终人工核对。对信息专员的含义效率可提升但工作不会被取代仍需馆员或同等专长检查错误准确率与召回相对人类策略的系统比较她本人尚未完成。环节视频描述边界能加速概念化、同义词、布尔草稿、库语法初译草稿非终稿常出错邻接/括号、主题词、自我「查错」不可靠必须在目标库试跑MeSH听众与讲者均确认存在幻觉主题词浏览器核验不可盲信召回/精确缺系统头对头测试不得凭自信宣称更优治理仍需人类监督注意偏见与能耗终裁权在人失败含义完整策略串不等于可注册终稿「已检查无误」的模型自述不能代替金标准测查与主题词核验。实验12 条迷你任务上的人工策略 vs 伪 GenAI每条任务种植一类策略终裁缺陷假 MeSH、漏关键同义词、过宽灌水、策略≠协议、句法未终裁、无金标准却吹嘘召回并保留 2 条「PICO/同义词草稿」作为能用层对照。输出原样T01 缺陷假MeSH 一致MISMATCH 层不能用-主题词终裁 → 人类必做 T02 缺陷假MeSH 一致MISMATCH 层不能用-主题词终裁 → 人类必做 T03 缺陷漏关键同义词 一致MISMATCH 层不能用-词表完备终裁 → 人类必做 T04 缺陷漏关键同义词 一致MISMATCH 层不能用-词表完备终裁 → 人类必做 T05 缺陷过宽式灌水 一致MISMATCH 层不能用-精确率/工作量终裁 → 人类必做 T06 缺陷过宽式灌水 一致MISMATCH 层不能用-精确率/工作量终裁 → 人类必做 T07 缺陷策略≠协议 一致MISMATCH 层不能用-协议一致性终裁 → 人类必做 T08 缺陷策略≠协议 一致MISMATCH 层不能用-协议一致性终裁 → 人类必做 T09 缺陷正常可加速 一致ok 层能用-概念/同义词草稿 → 人类抽检 T10 缺陷正常可加速 一致ok 层能用-概念/同义词草稿 → 人类抽检 T11 缺陷句法错误未终裁 一致MISMATCH 层不能用-句法终裁 → 人类必做 T12 缺陷召回未核验 一致MISMATCH 层不能用-召回验证终裁 → 人类必做 合计12 能用层一致2/2 假放行(MISMATCH)10 能用层任务2 人类必做层10 选型终裁: PICO概念与同义词草稿可加速 | 假MeSH·漏关键同义词·过宽灌水·策略≠协议·句法错误·无金标准召回吹嘘 必须人工终裁 | 讲者经验含 MeSH 幻觉未经本脚本核实读法能用层 2/2概念标签与「待核」同义词草稿可以和人工清单对齐适合加速仍要抽检。假放行 10/10 种植缺陷伪输出都能生成完整串但塞进假 MeSH、漏 aged/elderly、OR 进 human/people 灌水、把儿童或光疗打进与协议冲突的块、邻接括号错误还自称无误、无测试集却宣称召回更高。人类必做 10/12选型若宣传「自动完成系统综述检索策略终裁」会被这 10 条打脸。与讲者边界同向同义词与结构可起步主题词、句法与召回必须人审。能用 / 不能用分层验收层环节判定依据失败含义能用PICO 概念标签、已审词表的 OR 草稿加速需抽检T09/T10仍可能漏关键同义词见 T03/T04能用布尔拼装初稿加速起草讲者演示把草稿当终稿→错词进协议不能用MeSH/Emtree 是否真实人工终裁T01/T02讲者确认幻觉假主题词进入策略不能用关键同义词是否覆盖协议/种子文献人工终裁T03/T04召回缺口不能用过宽 OR / 库选择灌水人工终裁T05/T06筛查不可负担不能用与注册协议纳排一致人工终裁T07/T08策略与问题漂移不能用目标库句法试跑人工终裁T11语法错导致空跑或错跑不能用召回优于人类的宣称人工终裁T12无金标准的营销话术选型终裁表可抄走能力宣传是否采纳人类必做失败含义从问题生成 PICO 与同义词草稿可作加速对照协议与种子文献抽核漏关键同义词自动生成可注册的最终策略不采纳为终裁馆员/同等终裁 库内试跑假 MeSH/错句法自动保证与协议一致不采纳逐条对照注册文件人群/干预漂移宣称召回优于馆员策略不采纳金标准病例集测查无证据吹嘘模型说「已检查无误」不当证据独立查错清单自检不可靠伪 GenAI 输出怎么对照人工清单对照时先固定「金标准」人工侧只认协议里写死的人群/干预/对照/结局、已核验的 MeSH/Emtree以及种子文献里真实出现过的自由词。伪 GenAI 侧故意混入完整但不可信的策略串主题词看起来像正式编码、同义词列表很长、布尔括号「美观」。验收脚本只做字符串级一致判定它不调用真实大模型也不替你测召回。这样设计是为了让选型讨论可复现换模型时换伪输出列即可人类必做列不变。实践上建议把终裁拆成三道门。第一道主题词是否在浏览器里真实存在且语义匹配。第二道协议纳排是否被策略块偷换。第三道目标库试跑是否报错以及是否出现不可负担的过宽命中。三道都过才谈「可写入附录」。任何一道失败输出退回草稿区禁止用「模型已自检」作结案理由。与「筛选工具选型」「Deep Research 广搜」分开记账本文只验收检索策略串本身。筛选阶段假阴性、广搜阶段信源捏造各自用各自的探针避免一篇文章塞满所有 AI 写作场景。常见误判「布尔都对了就等于策略完成」T01/T02 显示假 MeSH 可以藏在正确布尔里。「模型自己查过错」讲者演示与 T11 说明自查仍漏关键句法问题。「比馆员快就是比馆员好」T12 专拦无金标准的召回吹嘘。「和 Deep Research / 筛选工具选型同一篇」本文专管检索策略 GenAI不展开全文筛选或 Deep Research 广搜。验收清单GenAI 输出只进「草稿」区终稿有人签。所有主题词经 MeSH/Emtree 浏览器核对。协议纳排与策略块逐条一致。目标数据库试跑邻接/括号/字段错误清零。有金标准病例集才允许谈召回否则禁止比较优势话术。CI 跑search_strategy_gate.py能用层保持一致假放行可复现。当天 30 分钟落地5 分钟选定一个 GenAI 入口保存原始策略串与提示。10 分钟用tasks.csv思路列本学科探针假主题词、协议冲突、过宽 OR。10 分钟对真实草稿抽核主题词与协议一致性记下假放行类型。5 分钟更新选型终裁表哪些步骤可加速哪些写死「人类必做」。踩坑把课堂漂亮长串直接贴进 PROSPERO/协议附录。只核对英文自由词不核对 MeSH。用「全面检索」作方法句却拿不出测查病例集。看见同义词多就采纳不做种子文献逆查。翻译到另一数据库后不再试跑句法。与馆员终裁如何分工建议把 GenAI 输出钉在「起草助手」角色它负责把问题拆成概念块、列出候选同义词、生成可粘贴的布尔草稿。馆员或同等专长负责主题词浏览器核对、协议逐条对读、目标库试跑、种子文献逆查以及是否允许写入注册附录。分工写进 SOP 后换模型不必重写终裁权。若团队无人能做 MeSH 核验则不应宣称「已具备系统综述检索策略 GenAI 终裁能力」。总结检索策略 GenAI 适合加速 PICO 与同义词草稿以及布尔/语法初译。它不能自动完成主题词真伪、协议一致性、过宽控制、句法终裁与召回证明。12 条虚构任务里能用层 2 条可对齐人工清单10 条种植缺陷全部假放行。选型终裁表应写清人类必做与失败含义并在换模型时复跑同一份 CSV。讲者关于 MeSH 幻觉与「仍需人类监督」的判断与本实验假放行方向一致但其具体演示效果未经本脚本核实。检索策略验收表与禁区归档可用千笔-AIWritePaper 整理分层骨架与脚本不依赖产品名。