资讯动态

大模型安全之四十七:当AI拥有行动权——智能体系统开发与安全防御指南

发布时间:2026/10/17 13:41:23 来源:尧图企业网站定制
一、从聊天机器人到智能体威胁模型的根本转变聊天机器人的威胁模型假设系统接收输入、生成输出并可选地调用预定义函数。而智能体AI系统打破了所有这些假设它自主执行动作序列、在交互间维持持久状态、与其他AI智能体通信且每一步都不需要人类监督。智能体决定使用哪些工具、编排多个工具调用来完成复杂目标、甚至将子任务委托给其他智能体——所有这些都无需每一步获得人类批准。让智能体有用的每一种能力同时也让它危险。当团队设计智能体自主研究客户合规要求、生成定制报告并发送邮件时该智能体需要访问客户数据库、合规知识库、文档生成服务和邮件系统。一次成功的提示注入不再只是产生误导性回复而是可能获得该智能体所能触及的每一个系统的访问权。会话运行时间越长累积的上下文越增加影响。聊天机器人与智能体的根本区别在于权限。聊天机器人生成文本回复可能调用开发者显式集成的函数智能体则采取行动。这种自主性既是其效用来源也是其风险来源。智能体记忆和状态持久化还开辟了跨会话的新数据外泄向量。过度代理问题在多步工作流中会逐步累积——单次提示注入的爆炸半径从单一误导性回复扩展为跨多个系统的未授权动作链。智能体系统的攻击面不是聊天机器人攻击面的延伸而是不同的威胁模型因为AI以自主权限行动。二、六大智能体攻击类别1. 工具使用利用攻击目标智能体调用外部服务的能力。如果攻击者通过注入影响工具选择或参数构造智能体就变成已认证代理借出其合法凭证去访问攻击者本无法独立获得的资源。2. 委托攻击利用智能体之间的信任。当智能体A将子任务委托给智能体B时B继承A的部分信任和访问权。攻击者攻陷B后利用继承的信任触及它本不应接触的资源——这在聊天机器人场景中没有对应物。3. 记忆投毒源于状态持久化。记住偏好、任务历史和学习模式的智能体创造了一个向量在一次会话中注入的恶意指令会在未来会话中激活绕过内容验证因为内容来自智能体自己受信任的记忆。4. 工具劫持将智能体的自主决策重定向到攻击者指定的目标。与针对聊天机器人的注入只产生一次误导性回复不同劫持智能体重定向整条自主动作链每一步都携带智能体的真实权限。5. 资源滥用将智能体的自主性变成成本攻击。被授权调用付费API、启动计算或购买服务的智能体可被驱动持续消费无需任何人批准任何一笔交易在任何人审查账单之前就已耗尽预算。6. 数据外泄把智能体当作信使。因为智能体既能读取敏感记录又能将输出传送到外部目的地一次成功操纵就把检索和投递串成单一自主动作从不经过人类审查者。三、逐类缓解纵深防御架构安全架构遵循纵深防御原则在多个层面应用控制而非依赖任何单一防御机制。针对工具使用利用按工具权限范围限定。将每个智能体限制在指定任务所需的最小工具集。不授予宽泛的所有API访问权而是定义工具配置文件——带参数约束的命名工具集——限制每个智能体工作流可访问的内容。合规研究工作流获得知识库和客户档案的读取权限但不能访问邮件系统或计费API。参数验证作为第二层在执行前检查工具调用参数是否落在预期范围内。针对委托攻击智能体身份验证与授权链。确保智能体传递的信任永远不超过它收到的信任。这是实现复杂度最高的控制。针对记忆投毒会话隔离与记忆完整性验证。防止注入指令从一个会话存活到下一个会话。针对目标劫持目标锚定与漂移检测。持续将智能体当前动作序列与其原始目标比对。如果被指派生成合规报告的智能体开始访问客户财务数据或尝试发送邮件漂移检测系统标记偏差并暂停执行等待人工审查。用于识别生产环境中可疑模型行为的异常检测方法同样可用于识别智能体工作流中的目标漂移。针对资源滥用预算限制与逐动作批准阈值。限制智能体可自行花费的金额。这是实现最简单的控制。针对数据外泄输出过滤与目的地允许列表。限制智能体生成内容可发送的位置。即使攻击者成功操纵智能体目标输出过滤器也阻止其将数据传输到允许列表之外的目的地。结合输入验证和内容分类这形成多层防御恶意指令必须绕过输入过滤、避开漂移检测、通过输出过滤才能实现外泄——这种纵深防御方法显著提高了攻击者的成本。四、真实案例案例一EchoLeak零点击提示注入2025年针对Microsoft 365 Copilot的真实漏洞利用。攻击者将恶意指令嵌入外部邮件当Copilot读取邮件时将“数据”当作“指令”执行实现无需用户任何点击的数据外泄。微软的多层防御在适度对抗压力下逐层失效——这印证了智能体场景中单一防御层必然失败的判断。案例二GTG-1002 AI编排的间谍活动2025年9月AI智能体自动对约30个组织进行攻击面测绘、漏洞发现、凭证窃取和横向移动。人类操作员仅在4到6个决策点介入80%-90%的战术工作量由AI自主完成。这是自主智能体被用于实战攻击的标志性事件。案例三Arup 2500万美元深度伪造诈骗2024年初攻击者用AI生成冒充CFO的钓鱼邮件员工起疑后要求视频验证结果视频会议中的“CFO”和“同事”全部是深度伪造的实时合成形象员工最终授权15笔转账。这展示了多通道社会工程如何瓦解单一通道的怀疑。案例四HexStrike-AI框架攻击Citrix NetScaler2025年9月开源AI攻击框架集成150多种安全工具。当Citrix披露CVE-2025-7775后威胁组织在不到10分钟内就利用了该漏洞。这印证了自动化漏洞利用生成已将披露到武器化的窗口压缩到分钟级。五、给开发与安全人员的行动清单重新定义威胁模型。智能体不是聊天机器人的延伸。如果系统具有自主行动权必须按智能体威胁模型重新评估而非复用聊天机器人安全控制。最小权限按工具限定。为每个智能体工作流定义工具配置文件限制可访问的API和参数范围。合规研究不应能访问邮件系统。验证参数。在执行前检查工具调用参数是否落在预期范围内作为权限限定之外的第二层。建立授权链。智能体委托时传递的信任不得超过收到的信任。这是最复杂但最关键的控制。隔离会话验证记忆完整性。防止注入指令跨会话存活。锚定目标检测漂移。持续比对当前动作与原始目标偏离时暂停等待人工审查。设置预算上限和逐动作批准阈值。最简单的控制但能有效遏制资源滥用。输出过滤加目的地允许列表。即使目标被操纵也阻止数据发送到未授权目的地。纵深防御而非单点依赖。恶意指令必须绕过输入过滤、避开漂移检测、通过输出过滤才能外泄——每一层都提高攻击者成本。六、结语智能体的自主性是其价值所在也是其风险所在。每一次工具调用、每一次委托、每一次跨会话记忆都在扩大一次成功注入的爆炸半径。聊天机器人安全控制无法保护智能体。智能体需要按自主权限重新设计防御用纵深防御把单次注入的爆炸半径压到最小。

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑