【免费下载链接】GLM-5.2-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/GLM-5.2-singprobe点击查看免费下载GLM-5.2-singprobe 是一款基于 GLM-5.2 大模型构建的流式安全护栏探针它不依赖额外的安全模型而是在大模型逐 token 生成时直接复用隐藏层状态实时打分——同时评估查询意图、回复不安全性和幻觉风险且为解码过程增加不到 0.5% 的开销。对于需要实时内容安全监控的生产场景这几乎是一种无感的方案。为什么传统安全审查方案不够用在大模型上线前做安全评估、出问题时人工抽检是最常见的做法。但流式对话场景下有两个痛点事后审查太慢回复已经逐字输出给用户安全问题才被发现护栏形同虚设外挂安全模型太贵再跑一个 8B 级安全模型做二次判断推理成本与时延都会明显上升。GLM-5.2-singprobe 的思路完全不同它把安全判断做成一个只有12.06M约 1200 万参数的轻量探针像一个小传感器一样搭在基座模型身上边生成边检测。探针如何工作3 层隐藏状态 每 token 10 维打分从哪些层取信号探针并不看模型的最终输出文本而是接入基座模型 3 个中间层的隐藏状态。根据 config.json 的配置base_model_layer_ids: [24, 50, 76]这三个层分别位于 GLM-5.2 的中段和后段能同时捕捉到用户想问什么和模型正在说什么两类信息。一个 token一份体检报告探针采用单层注意力结构modeling_sing_probe.py 中的SingProbeAttnModel对每个生成的 token 输出label_0–label_9共 10 个分数分数段含义8 个意图标签查询意图分类用户想做什么unsafe回复内容不安全性hallucination回复幻觉风险也就是说大模型每吐出一个 token你就同步拿到一份安全体检报告可以立即决定是放行、拦截还是降权处理。为什么开销不到 0.5%几个关键设计让探针足够轻参数量极小探针 12.06M 参数相对 GLM-5.2 基座模型可以忽略不计权重文件仅 model.safetensors 一个滑动窗口注意力sliding_window: 2048限制了注意力上下文长度见 configuration_sing_probe.py 中SingProbeAttnConfig避免长对话下计算量线性膨胀复用已有隐状态不重跑基座模型只是顺便读一次隐藏层因此解码开销 0.5%。性能怎么样关键指标一览官方在多个基准套件上的平均表现README.md任务指标GLM-5.2-singprobe参考基线查询意图分类6 个基准F10.8677YuFeng-XGuard-Reason-8B0.8714回复安全分类8 个基准F10.8695Qwen3Guard-Gen-8B-strict0.8604流式安全3 个基准R-AUC / T-AUC0.9852 / 0.9308Qwen3Guard-Stream-8B-strict0.9640 / 0.8893幻觉检测6 个基准AUC0.8118DRIFT0.8000两个部署指标尤其值得注意正常回复误报率平均仅 0.02%5 个数据集平均——几乎不会把正常用户拦下来解码开销 0.5%——对线上服务的吞吐影响可忽略。在流式安全R-AUC / T-AUC上它比同为 8B 的专用流式安全基线还高出一截——这是12M 探针打赢 8B 专用模型的典型数据。一键部署SGLang / vLLM 加载安全探针部署非常直接通过 SGLang 或 vLLM 的集成分支在服务启动时传入探针地址即可。以 SGLang 为例python -m sglang.launch_server \ --model-path zai-org/GLM-5.2 \ --probe-ckpt inclusionAI/GLM-5.2-singprobe \ --port 30000集成后的服务会为每个生成的 token 返回一个分数字典label_0–label_9业务侧根据自己的阈值做放行/拦截/审核分流即可。⚠️注意配对使用探针必须与基座模型严格配对——本仓库只适配zai-org/GLM-5.2不可混用其他底模。仓库文件结构说明整个仓库非常精简核心文件只有 5 个方便快速理解与二次集成文件作用README.md模型说明、评测结果与快速上手config.json模型配置结构类型、取数层、10 分类等configuration_sing_probe.py探针配置类注意力版SingProbeAttnConfig与 MLP 版SingProbeMlpConfigmodeling_sing_probe.py探针模型实现含滑动窗口注意力model.safetensors探针权重约 12.06M 参数bfloat16常见问题 FAQQ探针会改变大模型的回答内容吗不会。探针是旁路读取隐藏状态做打分不参与生成过程原文输出保持不变。Q能用在 GLM 之外的模型上吗本权重不能。但基座模型 轻量探针的方法是通用的训练代码在 SingProbe 官方仓库中开源可用于训练适配自己底模的探针。Q10 个分数分别代表什么8 个查询意图标签 1 个不安全性分数 1 个幻觉风险分数。具体意图标签定义见技术报告。Q流式场景下多久能发现一个问题逐 token 打分意味着最坏情况下只需等几个 token 即可触发告警而不是等整段回复结束。总结轻量探针式护栏的参考价值GLM-5.2-singprobe 展示了内生式护栏的完整路线不加大模型、不加重推理链路只加 1200 万参数就能在流式生成的每个 token 上同时完成意图识别、安全检测和幻觉检测。对正在为大模型部署实时安全能力的团队来说这套基座模型 探针的架构与 0.02% 误报率的实测数据都极具参考价值。赞分享【免费下载链接】GLM-5.2-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/GLM-5.2-singprobe点击查看免费下载相关推荐Qwen3-4B-Instruct-2507-singprobe完整指南5.18M参数探针如何为LLM装上流式安全护栏Qwen3 4B Instruct 2507 singprobe完整指南5.18M参数探针如何为LLM装上流式安全护栏 一句话了解这个项目 Qwen3为什么大模型需要流式安全护栏1分钟看懂GLM-5.2-singprobe的核心原理为什么大模型需要流式安全护栏1分钟看懂GLM 5.2 singprobe的核心原理 GLM 5.2 singprobe 是一款开源的 流式安全护栏 模型Si一文读懂Qwen3.5-2B-singprobe内嵌流式安全探针给大模型装上的隐形护栏一文读懂Qwen3.5 2B singprobe内嵌流式安全探针给大模型装上的隐形护栏 Qwen3.5 2B singprobe 是一个基于 Qwen3.5上一篇10 分钟装好大气层从 0 到启动成功的完整流程下一篇browserify安全最佳实践防范XSS与依赖劫持创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考