【免费下载链接】Qwen3.5-122B-A10B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-122B-A10B-singprobe点击查看免费下载Qwen3.5-122B-A10B-singprobe是一款构建在 Qwen3.5-122B-A10B 之上的轻量级流式安全护栏streaming guardrail它不引入额外的安全模型而是直接复用基座模型的隐藏状态hidden states在生成的每一个 token上同时打三个分——查询意图、响应安全性、幻觉风险。整个探针仅 6.17M 参数解码开销不到 0.5%。而它最精巧的设计就藏在三个数字里14、30、46——从 64 层 Transformer 中只抽头这三层的隐藏状态。为什么恰好是这三层这篇文章带你拆解背后的设计哲学。先认识 SingProbe不用独立安全模型的内生护栏传统做法是在大模型旁边再挂一个独立的安全分类模型每生成一段就要调用一次延迟和成本都翻倍。SingProbe 换了个思路安全信号本来就藏在基座模型自己的激活里。它在生成过程中拦截指定层的隐藏状态用一个极小的探针网络逐 token 打分规格项取值说明基座模型Qwen3.5-122B-A10B必须与探针严格配对使用探针参数量6.17M约为基座的百万分之一量级抽头层tapped layers[14, 30, 46]见 config.json输出10 个分数label_0–label_98 种意图 不安全 幻觉风险探针架构是带滑动窗口注意力的轻量网络8 头 × 64 维窗口 2048实现见 modeling_sing_probe.py。正因为寄生在基座激活上它才能做到逐 token 实时评分且几乎零额外开销。为什么恰好是第 14、30、46 层等间隔均匀抽头步长恒为 16先看这三层的位置关系14 → 30 → 46相邻间隔都是 16 层。这不是巧合而是刻意的等距采样策略——用固定的步长把网络栈大致切成早—中—晚三段每段取一个代表。Transformer 各层编码的信息抽象程度不同浅层如第 14 层更偏局部、词法与句法特征——用户到底在问什么、字面说了什么对意图识别贡献大中层如第 30 层语义开始整合上下文模式更稳定较深层如第 46 层接近任务级的高层决策表征携带与最终输出最相关的全局判断对安全与幻觉信号更敏感。三层信息互补等距抽头则让方案可复现、可解释——换基座模型时按层数比例做类似等分就能快速迁移而不用重新网格搜索。为什么是3 层而不是 1 层或全部层1 层不够单一层的信号维度有限意图、安全、幻觉三类任务所需的信息往往不在同一抽象层级单层难以兼顾全部层太贵层数越多拼接后的输入维度和探针计算量线性膨胀流式场景下逐 token 的开销会被放大3 层是性价比甜点信息覆盖足够输入特征维度被锁定在可接受范围。这个层数 × 隐藏维度的乘积关系在配置里一目了然input_size hidden_size × 抽头层数见 configuration_sing_probe.py。设计哲学三个恰好背后的取舍信息充分性 vs 推理开销。三层拼接的输入维度为3072 × 3 9216hidden_size3072见 config.json探针只在其上做了投影 注意力 分类最终换来 0.5% 的解码开销——对流式服务而言基本无感。可解释的默认选择。等距抽头是一种先验友好的归纳偏置位置规则简单、跨模型易迁移工程上远好过一套黑箱搜索出来的奇数层组合。为流式而生。探针内建 2048 的滑动窗口注意力modeling_sing_probe.py长序列不会导致注意力计算爆炸保证每个 token 都能即时出分——这正是流式护栏的核心诉求。三层隐藏状态如何变成 10 个分数流程非常直接拼接把第 14、30、46 层的隐藏向量按维度首尾相连得到 9216 维输入SingProbeAttnModel.forward入口先校验维度modeling_sing_probe.py轻量注意力8 头、头维 64按因果/滑窗规则聚合上下文归一化 分类RMSNorm 后接线性分类头输出num_labels10个 logit。10 个分数对应8 种查询意图 响应不安全 幻觉风险服务端每生成一个 token 就返回一个分数字典供业务侧做意图路由、内容拦截或幻觉告警。实测效果小探针硬指标在官方评测中这个 6.17M 的小探针整体打平甚至超过 8B 量级的专用安全模型数据来自 README.md任务指标singprobe参考基线查询意图分类6 个基准F10.8697YuFeng-XGuard-Reason-8B0.8714响应安全分类8 个基准F10.8680Qwen3Guard-Gen-8B-strict0.8604流式安全3 个基准R-AUC / T-AUC0.9895 / 0.9304Qwen3Guard-Stream-8B-strict0.9640 / 0.8893幻觉检测6 个基准AUC0.7806DRIFT0.8000更关键的是部署侧的两个数字良性回复误报率平均仅 0.03%解码开销 0.5%——拦得住还不打扰这对生产环境至关重要。快速上手一行参数加载探针在支持该探针的 SGLang / vLLM 集成分支上启动服务时只需多传一个--probe-ckpt参数python -m sglang.launch_server \ --model-path Qwen/Qwen3.5-122B-A10B \ --probe-ckpt inclusionAI/Qwen3.5-122B-A10B-singprobe \ --port 30000⚠️ 注意基座模型与探针必须成对使用Qwen/Qwen3.5-122B-A10B 本探针因为探针权重就是针对这三层的隐藏分布训练出来的。一句话总结14、30、46 不是玄学等距抽头让浅层的词法意图、中层的语义整合与深层的任务级判断各占一席三层拼接把信息量控制在 9216 维以内再配上一个 6.17M 的滑窗注意力小探针就换来逐 token 的意图/安全/幻觉三重评分和不到 0.5% 的延迟代价。 这就是 Qwen3.5-122B-A10B-singprobe 隐藏状态选型的完整设计哲学——用最少的层拿够用的信号守住流式生成的每一毫秒。赞分享【免费下载链接】Qwen3.5-122B-A10B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-122B-A10B-singprobe点击查看免费下载相关推荐Qwen3.5-4B-singprobe核心架构解析为什么在第9、19、30层提取隐藏状态Qwen3.5 4B singprobe核心架构解析为什么在第9、19、30层提取隐藏状态 Qwen3.5 4B singprobeSingProbe是一护栏方案对比Qwen3.5-122B-A10B-singprobe vs Qwen3Guard-8B vs DRIFT终极选型指南护栏方案对比Qwen3.5 122B A10B singprobe vs Qwen3Guard 8B vs DRIFT终极选型指南 Qwen3.5 122BQwen3.5-122B-A10B-singprobe源码解析上SingProbeAttnModel与SingProbeMlpModel两种探针架构全拆解Qwen3.5 122B A10B singprobe源码解析上SingProbeAttnModel与SingProbeMlpModel两种探针架构全拆解创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考