【免费下载链接】Qwen3.5-397B-A17B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-397B-A17B-singprobe点击查看免费下载Qwen3.5-397B-A17B-singprobe是一款基于 Qwen3.5-397B-A17B 大模型构建的内生流式安全护栏SingProbe。它不额外运行独立的安全模型而是直接复用大模型生成过程中的隐藏状态在每一个 token 生成的瞬间同步输出三类安全信号查询意图8 类意图、回复不安全程度、幻觉风险——整个探针只有8.13M 参数带来的解码延迟不足 0.5%。这篇文章带你从 config.json 到建模代码逐层读懂这个探针的完整原理。 一文读懂 SingProbe什么是内生流式护栏传统的大模型安全方案通常是在生成结束后再调用一个独立的安全审核模型来判断内容是否合规。这种方式有两个明显短板延迟高要等回复生成完才审查和成本大多跑一个模型。SingProbe 的思路完全不同对比项传统独立安全模型SingProbe 探针运行方式生成完再审查生成中逐 token 打分额外参数一个完整模型8.13M解码开销一次完整推理 0.5%输出事后结论实时安全分数从 README.md 中的评测数据可以看到它的实际表现查询意图分类6 个基准F1 达0.8750超过 YuFeng-XGuard-Reason-8B 的 0.8714回复安全分类8 个基准F1 达0.8696超过 Qwen3Guard-Gen-8B-strict 的 0.8604流式安全检测R-AUC / T-AUC 达0.9905 / 0.9339大幅领先 Qwen3Guard-Stream-8B幻觉检测6 个基准AUC 达0.8117超过 DRIFT 的 0.8000正常回复误报率5 个数据集平均仅0.03%️ 仓库全景5 个文件讲透全部原理这个仓库非常精简全部源码就 5 个文件文件作用README.md模型说明、评测结果、部署方法config.json探针的超参数配置结构蓝图configuration_sing_probe.py配置类把 JSON 变成可用的 Config 对象modeling_sing_probe.py建模代码探针的网络结构与前向计算model.safetensors8.13M 参数权重文件bfloat16下面按配置 → 建模的顺序逐个拆解。 逐行解读 config.json探针的 5 个关键参数打开 config.json全文只有 20 多行但每一行都有讲究{ architectures: [SingProbeAttnModel], model_type: sing_probe_attn, hidden_size: 4096, base_model_layer_ids: [18, 38, 58], num_attention_heads: 8, head_dim: 64, sliding_window: 2048, num_labels: 10, base_model_name: Qwen/Qwen3.5-397B-A17B, torch_dtype: bfloat16 }①architectures/model_type— 声明这是一个注意力版探针SingProbeAttnModel。注意 config.json 中的auto_map字段它告诉 HuggingFace 的AutoConfig/AutoModel去哪里加载对应的 Python 类这是自定义模型能被一键加载的关键。②hidden_size: 4096— 基座模型 Qwen3.5-397B-A17B 每一层输出的隐藏状态维度。③base_model_layer_ids: [18, 38, 58]— 这是 SingProbe 最核心的一行探针只挂钩基座模型的第 18、38、58 层的隐藏状态把三层拼接后作为输入特征维度变为4096 × 3 12288。选中间、中后、靠后的层是为了同时捕捉浅层的表层语义和深层的语义推理结果。④num_attention_heads: 8head_dim: 64— 探针内部使用一个分组查询注意力GQA结构8 个 Query 头共享1 个KV 头KV 投影宽度只有 64。这正是参数量能压到 8M 的关键技巧。⑤sliding_window: 2048— 注意力上下文限制在 2048 个 token 的滑动窗口内避免长对话下注意力开销膨胀。⑥num_labels: 10— 输出 10 个分数对应8 个意图类别 1 个不安全分数 1 个幻觉风险分数即部署时接口返回的label_0–label_9。⚙️ 配置类如何工作input_size 12288 是这样算出来的configuration_sing_probe.py 里定义了两个配置类对应两种探针架构SingProbeMlpConfigMLP 版两层全连接网络SingProbeAttnConfig注意力版本仓库实际采用的架构两者都继承自 transformers 的PretrainedConfig加载config.json后各字段会自动映射为属性。其中最关键的是 input_size 属性property def input_size(self) - int: return self.hidden_size * len(self.base_model_layer_ids)这就是前面算的4096 × 3 12288——探针真正接收的特征维度。配置类只负责描述结构具体的网络搭建在建模代码中。 建模代码深度剖析两套探针架构modeling_sing_probe.py 是全部 8.13M 参数的来源包含两个模型类。架构一MLP 版——最简单的两层网络SingProbeMlpModel 的结构非常直白12288 维特征 → fc1 (线性层) → GELU 激活 → fc2 (线性层) → 10 个分数共两个线性层12288→1024→10适合作为轻量基线。架构二注意力版——本仓库采用的架构SingProbeAttnModel 才是重头戏。它把探针本身做成了一个微型 Transformer 层内部流程如下第 1 步三路投影L72-L75proj_q12288 → 5128 头 × 64 维proj_k/proj_v12288 → 64只有 1 个 KV 头GQA 技巧全部不带 bias参数更省第 2 步因果注意力L111-L135对序列长度超过sliding_window2048的输入会触发 滑动窗口注意力按窗口切块每个 token 只看自己 前 2047 个 token既保证因果性不看未来 token又控制计算量否则直接走scaled_dot_product_attention的因果模式。第 3 步残差 归一化 分类头L136-L139注意力输出 → o_proj 投影 Query 残差连接 → RMSNorm → classifier → 10 个分数另外输入校验函数 会在前向时检查输入维度是否等于 12288不匹配就直接报错——这是防止探针和基座模型不配对的第一道保险。8.13M 参数到底花在哪逐行算给你看按 config.json 的数值逐模块核算模块权重形状参数量proj_q12288 × 5126,291,456proj_k12288 × 64786,432proj_v12288 × 64786,432o_proj512 × 512262,144RMSNorm512512classifier512 × 10 105,130合计8,132,106 ≈ 8.13M✅可以看到近77% 的参数集中在proj_q这一个矩阵上。相对基座模型的 397B 参数探针占比约 0.002%——这就是开销 0.5%的数学来源。 如何部署SGLang / vLLM 三行命令接入SingProbe 通过 SGLang 或 vLLM 的集成分支支持服务器启动时用--probe-ckpt指定探针 ID 即可命令来自 README.mdpython -m sglang.launch_server \ --model-path Qwen/Qwen3.5-397B-A17B \ --probe-ckpt inclusionAI/Qwen3.5-397B-A17B-singprobe \ --port 30000服务每生成一个 token就会额外返回一个包含label_0–label_9的分数字典你可以实时拿到该 token 对应的意图、不安全度、幻觉风险三个信号。⚠️ 注意探针与基座模型必须成对使用Qwen/Qwen3.5-397B-A17B 本仓库权重因为探针权重是在这套隐藏状态上训练出来的换基座模型分数会失真。 小结这套设计妙在哪零额外模型复用基座已有计算流只加一层 8.13M 的轻量打分头GQA 极致省参8 个 Query 头共享 1 个 KV 头投影矩阵小到惊人流式实时逐 token 打分安全审查和生成同步进行长对话由 2048 滑动窗口兜底一套探针三个任务意图分类、安全检测、幻觉识别一次前向全出如果你正在为大模型寻找低延迟的安全方案这个仓库的 config.json 与 modeling_sing_probe.py 值得精读——不到 200 行代码就写清了一个生产级流式护栏的全部原理。赞分享【免费下载链接】Qwen3.5-397B-A17B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-397B-A17B-singprobe点击查看免费下载相关推荐Qwen3.5-397B-A17B-singprobe 工作原理揭秘为何复用隐藏状态就能实现零额外模型的安全探测Qwen3.5 397B A17B singprobe 工作原理揭秘为何复用隐藏状态就能实现零额外模型的安全探测 Qwen3.5 397B A17B singQwen3.5-397B-A17B-singprobe 集成实战vLLM 框架配置、启动参数与流式评分 API 使用教程Qwen3.5 397B A17B singprobe 集成实战vLLM 框架配置、启动参数与流式评分 API 使用教程 Qwen3.5 397B A17B深度拆解 Qwen3.5-397B-A17B-singprobe 架构注意力探针与滑动窗口如何实现 0.5% 低开销流式评分深度拆解 Qwen3.5 397B A17B singprobe 架构注意力探针与滑动窗口如何实现 0.5% 低开销流式评分 Qwen3.5 397B A17创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考