AI安全相关产品的赛道分析一、国标安全规范与检测角度国标对大模型的合规要求核心依据是GB/T 45654-2025《网络安全技术 生成式人工智能服务安全基本要求》。它从三个主要方面提出了明确要求分别是训练数据安全、模型安全、安全措施。1.1 训练数据安全要求这部分从源头管控风险覆盖了数据的全生命周期来源安全要求对数据来源进行采集前评估和采集后核验。如果违法不良信息占比超过5%该来源的数据就不能用。内容管理需过滤违法不良信息并保护知识产权和个人信息。使用个人信息特别是人脸等敏感信息前必须取得授权同意。标注安全对标注人员有培训考核机制并且要求对安全性标注数据进行全量人工审核。1.2 模型安全要求这部分主要关注模型本身的安全性和输出内容训练安全要把生成内容的安全性作为评价模型优劣的主要指标之一并监测模型是否存在后门。输出安全在每次对话中需要对使用者输入进行安全性检测引导模型生成积极正向内容。同时要求生成内容具备安全性、准确性和可靠性。持续监测要求建立常态化监测测评手段发现问题后要通过指令微调、强化学习等方式优化模型。1.3 ️ 安全措施要求这部分规定了服务提供者需要建立的管理和运营机制服务透明度需显著公开服务范围、适用情况以及局限性。未成年人保护要采取特定措施保护未成年人。投诉举报必须提供便捷的投诉举报入口并设定处理规则与时限。输入保护需要提供便捷的输入信息关闭方式并显著告知使用者。应急与连续性建立备份和恢复策略并有应急管理措施比如具备紧急关停能力。1.4 OWASP Top 10“Top 10”通常指OWASP开放式 Web 应用程序安全项目发布的十大安全风险清单。它是一个全球公认的参考标准列出了 Web 应用和 AI 应用最需要关注的安全漏洞类型。这是针对 AI 产品的核心清单最新2026 版如下LLM01 提示注入攻击者通过输入操纵模型行为可来自用户或外部内容如网页、文档。LLM02 敏感信息披露应用通过回复或 RAG 检索泄露个人数据、凭证或机密信息。LLM03 过度代理模型被授予了超出任务所需的权限或自主性如只读助手能修改数据。LLM04 供应链依赖的模型、数据集、插件等第三方组件被篡改或存在漏洞。LLM05 数据与模型投毒训练、微调或 RAG 数据被污染导致模型行为异常。LLM06 无界消费资源滥用如通过长提示耗尽 Token 预算或 Agent 工作流失控调用。LLM07 虚假信息模型生成的不准确信息被当作事实使用可能触发支付等错误操作。LLM08 隐藏上下文暴露系统提示词、检索文档、工具响应等非用户可见内容被泄露。LLM09 向量与嵌入弱点RAG 或语义缓存中因嵌入层缺陷导致的跨租户泄露或检索操纵。LLM10 不当输出处理模型输出未经验证就传给下游如生成 SQL 直接执行或代码进入 Shell。下面这张 结构图把AI 网关 → 输入防护 → 多 Agent → MCP 多服务的链路画出来并在每个节点上标注了它主要对应的OWASP LLM Top 10LLM01–LLM10风险。 数据 / 模型底座 MCP 服务层多个 Server 多 Agent 层️ AI 网关 (AI Gateway) 用户输入网页、文档、API LLM01 提示注入 LLM04 供应链统一入口 / 鉴权 / 路由 LLM06 无界消费 LLM04 供应链️ 输入防护注入检测 / 脱敏 / 限流 LLM01 提示注入 LLM02 敏感信息披露 LLM06 无界消费 LLM05 数据投毒Agent A如只读助手 LLM03 过度代理 LLM01 提示注入 LLM06 无界消费Agent B如运维助手 LLM03 过度代理 LLM10 不当输出处理 LLM06 无界消费Agent C如 RAG 问答 LLM02 敏感信息披露 LLM08 隐藏上下文暴露 LLM09 向量弱点️ MCP Client 防护工具调用参数校验 / 权限 / 白名单拦截 Agent → MCP Server 的出口 LLM10 不当输出处理 LLM03 过度代理 LLM01 提示注入 LLM06 无界消费MCP Server 1文件 / 数据库 LLM02 敏感信息披露 LLM10 不当输出处理 LLM03 过度代理MCP Server 2Shell / 代码执行 LLM10 不当输出处理 LLM03 过度代理 LLM06 无界消费MCP Server 3RAG / 向量库 LLM09 向量弱点 LLM02 敏感信息披露 LLM05 数据投毒MCP Server 4第三方插件/API LLM04 供应链 LLM01 提示注入️ 输出防护内容过滤 / 校验 / 审计Agent → 用户的最终回复 LLM07 虚假信息 LLM08 隐藏上下文暴露 LLM02 敏感信息披露 用户接收最终回复训练 / 微调数据 LLM05 数据投毒RAG 知识库 / 嵌入 LLM09 向量弱点 LLM05 数据投毒 LLM08 隐藏上下文暴露1.5 做AI安全的整体思路传统安全是扫描漏洞、渗透测试、网络零信任人/设备访问业务。AI产品LLM、RAG、Agent智能体的安全分成两大赛道上线前AI渗透/漏洞评估平台对标传统漏洞扫描器、自动化渗透系统运行时AI原生零信任网关/安全围栏对标传统SDP、WAF、API网关专门保护大模型、Agent核心差异传统安全防护网络、代码、接口AI安全额外要管控提示词、模型输出、RAG检索上下文、Agent调用工具MCP/函数调用。传统零信任是「人/设备访问业务」AI零信任新增两层用户访问模型、Agent访问内部业务/数据库。1.5.1 上线前AI安全评估 / 自动化渗透类产品对标传统漏洞扫描、自动化渗透平台这类产品在模型/AI应用上线前做测评左移安全类似AWVS、Nessus但payload不是XSS/SQL注入而是针对大模型的对抗攻击。1.5.1.1 产品形态ALLM漏洞扫描平台AI Vulnerability Scanner攻击库OWASP LLM Top10、MITRE ATLAS攻击矩阵检测项目提示注入直接/间接RAG注入、越狱(jailbreak)、模型数据抽取、幻觉投毒、PII泄露、越界工具调用、多轮递进式攻击Crescendo能力批量自动跑多轮对话量化攻击成功率输出风险报告、复现用例可集成CI/CD流水线每次模型更新自动复测开源参考Garak、Promptfoo、PyRIT商业化Mindgard、Repello客户价值替代人工红队快速批量测评自研大模型、RAG应用、Agent1.5.1.2 产品形态BAI红队演练平台自动化红队Harness比扫描器更强自适应攻击编排不是固定payload列表而是用攻击智能体自动探索AI应用攻击面自动测绘AI应用攻击面知识库、可调用工具、API、系统提示词、多轮对话入口自适应生成攻击链一轮失败自动换策略模拟真实攻击者覆盖Agent特有风险工具劫持、权限提升、横向调用内部系统、逃逸自主执行输出可审计证据包满足监管测评、AI备案、高风险AI评估国内《生成式AI服务管理暂行办法》、ISO42001国内绿盟天元智衡、智源FlagSafe都是这类产品。1.5.1.3 产品形态C模型供应链模型构件扫描MLBOM模型SBOM对标传统SCA软件成分分析扫描模型权重、训练数据集、LoRA插件、RAG知识库检测模型投毒、后门、版权风险、训练数据泄露生成MLBOM清单追踪模型来源、依赖、风险组件1.5.2 运行时面向AI的零信任类产品AI Zero Trust传统零信任人/设备 → 业务系统AI零信任要三层身份与权限人类用户身份大模型/Agent智能体身份Agent调用的工具、数据库、API资源1.5.2.1 产品形态AAI网关 / LLM安全围栏AI Firewall最主流放在业务应用和大模型API之间作为零信任策略执行点PEAInline旁路都可以部署。✅ 零信任能力对Prompt/Response做语义检测拦截注入、越狱、敏感信息外发输入脱敏输出内容审计身份鉴权给每一个Agent/会话颁发独立身份不是共用API KeyAPI密钥托管业务侧看不到原始key最小权限控制控制Agent能调用哪些工具、数据库、接口禁止越权调用MCP工具粒度权限控制持续评估每一轮对话都做上下文风险评估会话内风险升高可动态切断会话零信任持续验证完整审计日志全链路记录prompt、检索文档、tool调用、返回结果满足合规取证国内绿盟AI安全围栏海外Lakera Guard、Cisco AI Defense、FortiAIGate1.5.2.2 产品形态BAgent专用零信任网关MCP网关面向智能体专门解决Agent的东西向访问AI智能体访问企业内部系统、数据库、文件是现在热点。每个Agent、每个MCP Server都有独立加密身份类似SPIFFE策略引擎控制这个Agent只能访问指定数据库表只能调用指定API只能做指定操作Just-in-Time即时授权Agent要执行高危操作时触发人工审批审批通过才开放权限阻断Agent横向渗透、权限逃逸防止Agent被提示注入后去删库、查敏感数据Xage、NetFoundry 的MCP Gateway就是这类。1.5.2.3 产品形态CShadow AI 发现 AI资产治理平台AI DSPM对标数据安全态势管理DSPM 自动扫描企业内偷偷在用的各类AI员工私用ChatGPT、自建Ollama、RAG知识库测绘AI资产、识别敏感数据流入外部大模型做访问策略管控是AI零信任的资产盘点底座。1.5.3 配套辅助产品AI行为审计UEBA针对用户和Agent行为基线识别异常提示、异常工具调用内部威胁检测模型水印/溯源给模型输出、RAG文档打隐水印判断信息是否由AI泄露出去用于事后溯源取证AI安全基线评估平台一键做合规评估等保、生成式AI备案、ISO42001输出自评报告1.5.3.1 产品赛道对比 落地优先级最容易落地、需求明确AI安全网关AI Firewall客户自建RAG、Agent最头疼提示注入、数据泄露网关旁路/inline部署业务几乎不用改代码。第二优先级自动化AI红队/LLM扫描上线前测评、备案、第三方安全评估需求适合AI研发团队、政企自研大模型。长期赛道Agent零信任MCP网关随着智能体普及风险从“模型说什么”变成“Agent做什么”管控Agent调用内部系统这个市场会越来越重要技术门槛更高。1.5.3.2 和传统安全产品的关键差异做产品时重点注意传统WAF看语法特征正则AI网关看语义、上下文、多轮对话逻辑不能只靠正则传统漏洞扫描扫接口、代码AI红队要多轮对话自适应攻击单轮payload不够传统零信任只管人和设备AI零信任必须新增Agent身份、工具调用权限、RAG上下文信任边界RAG有一个特殊风险间接提示注入知识库文档藏恶意指令传统安全产品完全覆盖不到是AI独有的攻击面。1.5.3.3 商业化取舍建议如果考虑自研小团队优先做LLM安全网关 轻量化自动化扫描不要一上来做完整Agent零信任Agent场景复杂度极高MCP、多智能体链路非常复杂开源基础Promptfoo/Garak做测评底座网关可以做代理层NLP检测引擎零信任身份层可以复用SPIFFE/SPIRE二、开源产品参考GitHub 上确实有一些可以直接用或改的开源项目之前提的几大分类来看成熟度差异很大。梳理一下2.1 成熟度最高零信任 / Agent 权限管控这类项目最多也最接近“可直接用”的状态。Corsair12.5k stars——Agent 集成层的权限门控。核心能力是权限拦截敏感操作发邮件、改记录强制人工审批凭据隔离Agent 只能看到方法名API Key 在内部解析不暴露给 AI 本身。适合直接拿来做 Agent 工具调用的安全底座。SponsioLabs/Sponsio440 stars——运行时安全围栏。用确定性规则agent contracts检查 Agent 的每一次工具调用允许/阻止/告警/转安全替代方案。基于模糊线性时序逻辑比用另一个 LLM 做判断更快、成本更低。适合给已有 Agent 加一层运行时策略引擎。nacre-work/nacre——权限感知的向量检索层。专治 RAG 场景的越权检索权限过滤在HNSW 遍历时执行而不是排序后再裁剪保证top_k返回的都是用户有权看的。适合改造后做企业知识库的权限隔离。QMY Combinator 开源——企业级 Agent Harness。给团队用的 Agent 管理平台解决数据边界、权限治理、沙箱持久化问题。3.9k stars定位是“让 100 个 AI 员工安全协作”。适合直接部署给内部团队用。2.2 可拿来改渗透测试 / 红队工具这类工具不少但需要根据我们的目标 Agent 做适配。AgentRed——Agent 安全评估扫描器。用 YAML 描述目标 Agent 的工具和敏感权限自动生成攻击模板13 类模板 / 100 次攻击在沙箱里执行并检测数据泄露用 canary secret。输出 Markdown/HTML/JSON 报告。适合快速给 Agent 做一轮红队体检。Agent-Redteam——OWASP LLM Top 10 全覆盖的攻击套件。内置2304 条测试样本覆盖 Prompt 注入、工具滥用、供应链、多轮攻击等 13 个套件。支持 CLI 和 CI 集成分数低于阈值 exit 1。适合建立标准化红队测试流程。AICU Scanner——黑盒 LLM 应用扫描器。不需要 API Key 或模型权限直接对聊天端点重放 adversarial payload。多模态攻击引擎是亮点151 个 payload 覆盖 LSB 隐写、EXIF 注入、音频隐藏指令、PDF 零宽字符等。适合测多模态 Agent 的输入侧攻击面。DVAIADamn Vulnerable AI Application——故意有漏洞的靶场。内置Agentic 测试环境ReAct 风格 Agent 6 个 SQLite 工具含故意危险工具可观测 CoT、工具调用链支持多轮攻击。适合搭建内部红队训练环境。2.3 偏研究/早期评估与监控这类更多是框架或研究项目直接产品化还需要不少工作。Inspect EvalsUK AISI 开源——评估框架 社区 benchmark 集合。基于 Inspect AI覆盖 coding、math、cybersecurity、safeguards 等领域包含 GAIA、SWE-Bench、Cybench 等 Agent benchmark一条命令就能跑。适合做模型/Agent 的安全能力基线评测。GovLLM——运行时合规监控。用一组小模型 judge 持续评估每条输出是否符合 EU AI Act、GDPR 等规范judge 分歧被当作“监管不确定性信号”触发人工仲裁。偏合规场景适合金融/政务。Suy Sideguy——Agent 运行时行为监控。监控进程的文件/网络行为按策略给出 SAFE/FLAG/HALT/KILL 裁决能生成取证报告。定位是“输出侧的 containment forensics”。适合做运行时兜底。DefenderBenchMicrosoft——LLM Agent 的网络安全能力评测。覆盖网络入侵、恶意内容检测、代码漏洞分析等任务模块化设计方便接入自定义模型。偏学术评测框架。怎么选如果想快速落地一个产品从 Corsair nacre 组合入手Corsair 管工具调用权限nacre 管 RAG 检索权限两个都是自托管、Apache 2.0改造空间大。如果想做红队/评估产品Agent-Redteam 的测试套件可以直接拿来当核心引擎AICU 的多模态 payload 引擎是差异化点。向量库权限这个方向nacre 是目前搜索结果里唯一直接解决这个问题的开源项目先看它比从零做好。三、安全测试产品功能与AIX对标比如我们要做一个安全产品功能覆盖9大类常见安全风险实现快速精准检测命令执行与注入数据泄露与凭证安全硬编码敏感信息权限提升与持久化供应链安全网络攻击与SSRF规避检测与混淆AI Agent特有风险进程与文件操作同时覆盖AI应用各类安全隐患OWASP Top 10安全风险AI/LLM特定风险MCP协议专项风险通用安全风险检测范围和核心能力在开源生态里确实能找到功能高度对标的产品。AIX Framework是其中匹配度最高的它在攻击面和检测维度上几乎覆盖了提到的所有条目。3.1 AIX FrameworkAIX 是一个 LLM 安全测试框架它的设计逻辑和我们描述的产品功能非常接近。检测范围对照预期产品的能力AIX 对应模块Prompt 注入攻击inject直接/间接注入、指令覆盖不安全输出处理exfil通过 Markdown、链接、Webhook 渗出数据训练数据泄露leak训练数据泄露、响应中的 PII模型投毒风险poisoning训练数据投毒越权工具调用agent工具滥用、权限提升、未授权操作敏感信息渗出extractleak系统提示词提取、数据泄露核心能力对照安全围栏有效性验证AIX 的recon模块能指纹识别 8 种主流护栏OpenAI Moderation、Azure Content Safety、Llama Guard 等并返回置信度和各类别的敏感度画像。识别到护栏后自适应绕过引擎会自动激活针对该护栏的已知弱点应用逃逸技术。多轮对话场景检测multiturn模块支持 crescendo渐进式攻击、信任构建、指令分层等策略。层层递进式突破检测通过chain模块用 YAML 定义多步骤攻击工作流支持条件分支和步骤间状态传递。OWASP LLM Top 10 风险每个发现都会同时标记 MITRE ATLAS 技术 ID 和 OWASP LLM Top 10 分类。规则AI 双引擎判定支持使用辅助 LLM 作为 judge 来评估攻击是否成功同时也有确定性的检测器。覆盖对象AIX 支持任何端点——OpenAI、Anthropic、Ollama、Azure、AWS Bedrock以及通过 Burp Suite 请求文件或原始 HTTP 接入的自定义 API。这意味着通义千问、DeepSeek、企业知识库机器人、智能客服只要暴露了 HTTP 接口都可以作为测试目标。3.2 其他可参考的项目Akira Security也是一个 LLM 安全测试框架攻击分类覆盖 injection、jailbreak、extraction、tool_abuse、rag_poison、agent_hijack 等。它的target类型支持 Anthropic、OpenAI、HuggingFace、Bedrock、SageMaker 以及通用 REST 端点后者可以通过自定义请求模板适配任何聊天 API。Skill-Scan腾讯 AI-Infra-Guard 子项目走的是另一条路线LLM 驱动的静态代码审计。它用三阶段流水线信息收集 → 代码审计 → 漏洞复核对 Agent Skill 项目做深度分析检测数据泄露、工具滥用、间接注入、授权绕过等。如果你关注的是AI 代码助手/Agent 平台自身的代码安全这个项目更有参考价值。GarakkNVIDIA 开源9.3k stars是更底层的 LLM 漏洞扫描器覆盖 prompt injection、jailbreak、data leakage、编码攻击、幻觉等支持 OpenAI、HuggingFace、Bedrock 等主流接口。它的定位偏“模型层探测”而不是“应用层全链路测试”。Agent-Audit和Guardbee MCP-Agent-Graph-Auditor则专注于Agent 工具调用链的安全前者检测shellTrue、eval()、硬编码凭证、MCP 配置问题后者专门找多 Agent 委托链中的传递性权限过大——一个看似安全的 Agent通过委托给另一个 Agent 间接获得了危险工具的访问权。 一个判断当前描述的产品在功能覆盖面上和 AIX 高度重合但两者的定位可能不同AIX 是一个攻击/测试框架更偏向红队和 CI/CD 集成产品如果强调“安全围栏有效性验证”和“规则AI 双引擎判定”可能更偏向合规评估和持续监控。如果要基于开源改造AIX 的攻击引擎 Skill-Scan 的 LLM 代码审计逻辑组合起来能覆盖从运行时行为到静态代码的完整检测链路。