资讯动态

HAVENLON 不完美主体 | #01 安全系统为什么总是假设合法主体知道自己在做什么

发布时间:2026/9/11 12:53:28 来源:尧图企业网站定制
过去几十年的计算机安全体系基本围绕主体是否合法来建立控制用户登录服务认证程序持有 Credential访问资源要过权限判断高风险操作再叠加 MFA、PAM、短生命周期 Token、Least Privilege、RBAC、ABAC直到 HSM 与硬件密钥保护。这套体系已经成熟到我们不再追问一个问题——当一个主体通过认证、获得授权之后系统实际上还默认了什么系统证明了一个主体是谁却往往顺手假设了它知道自己在做什么。这两个判断从来不是一回事。一、被安全体系藏起来的那个前提身份认证解决你是谁权限控制解决你能做什么但在现实世界真正发生动作之前还有一个问题没有被传统权限模型完整回答你现在做的这件事究竟是不是你真正应该做的事传统系统通常把这个问题留给主体自己。工程师登录生产服务器系统确认了他的身份也确认了他有修改配置的权限但系统并不知道他改的这个参数是否符合今天的业务目标财务人员拥有付款权限支付系统能判断金额有没有超过额度却未必理解这笔钱为什么此刻应该付给这个账户管理员拥有 Delete Capability平台知道他有资格删除却无法天然理解此刻删除这个对象是不是一个正确决定。于是安全体系形成了一种非常稳定的分工系统判断资格人判断现实。系统证明身份人理解语境系统配置权限人理解目的系统阻止非法访问人判断合法访问是否仍然符合真实意图。这个分工在很长时间里都成立却也留下了一个藏得很深的假设。Authenticated Subject 往往被默认为 Rational Subject。一个通过认证、获得授权的主体会被进一步默认成能够理解当前任务、理解当前状态、并且知道自己正在做什么的主体。这个假设过去很少出问题因为那个主体通常是人。而现在主体正在变化。二、AI AGENT 让这个隐含前提第一次失效AI Agent 与传统软件的区别不只是更自动化也不只是能调用 Tool。真正关键的变化在于它开始承担过去由人完成的语义判断。过去把数据库写权限交给工程师是因为工程师不仅拥有 Credential还被默认能够理解为什么要改这条数据现在同样的权限可能被交给一个 Agent。它持有合法 Token获得正确 Role通过正常 API 发起请求Credential 没有泄露认证没有被绕过权限也没有被非法提升——从传统安全体系看整条调用链完全正常。但 Agent 仍然可能误解用户的任务可能错误解释一段自然语言可能把网页里的外部内容当成操作指令可能在多步骤任务中逐渐偏离原始目标也可能在环境已经改变之后仍然按照旧计划继续执行。它甚至可能在前九十九步都正确只在最后那个真正改变现实状态的动作上发生偏差。这时会出现一个很有意思的安全现象身份是真的权限是真的Credential 是真的调用路径是真的日志也是完整的整个系统里甚至没有一个传统意义上的攻击者但最后发生的事情仍然不是人希望发生的事情。一个动作可以完全合法却仍然完全错误。传统安全非常擅长识别 Illegal Actor而 AI Agent 开始大量制造另一类风险Legal Actor, Wrong Action。三、真正危险的主体并不一定具有恶意安全行业习惯从恶意主体的角度建模风险攻击者窃取 Credential内部人员滥用权限恶意程序提升权限身份被伪造。于是我们不断强化认证、授权、Credential Protection 和 Least Privilege让错误的人无法获得正确的能力。这个逻辑本身没有问题但它隐含着一个经典的威胁模型——风险主要来自不应该拥有能力的人获得了能力。AI Agent 带来的问题不同。很多时候能力恰恰掌握在正确主体手里Agent 是企业自己部署的Token 是企业自己发的Role 是管理员自己配的API 是业务系统自己开放的。没有 Credential Theft没有 Privilege Escalation没有 Unauthorized Access唯一的问题是这个合法主体做出了错误判断。因此恶意主体已经无法覆盖全部风险我们需要一个更基础的概念Fallible Subject不完美主体。它不是指能力弱不是指不可信更不是指有恶意。它可以同时是合法的、被授权的、没有恶意的、甚至相当聪明的但依然可能错误理解现实。需要进入安全模型的不再只有主体可能作恶还包括主体可能真诚地犯错。AI Agent 只是让这个问题第一次以工业规模出现。事实上人一直也是不完美主体。四、人类其实从来都不是完美主体把这个概念往回推就会发现它并不专属于 AI。人会疲劳会误解信息会因为时间压力降低判断质量会被 Social Engineering 诱导会因为 Confirmation Bias 忽略异常会在复杂审批系统里养成连续点击 Approve 的习惯会在值班三十个小时之后敲下一条错误命令也会非常自信地执行一个其实并不正确的操作。传统安全一直知道这些问题存在只是长期以来把它们归类成人为错误运营风险或者培训问题。当人的错误频率有限、执行速度也有限时这种处理方式还能成立。AI Agent 改变的是规模一个人一天可能执行几十个高价值操作一个 Agent 一分钟就能执行几百甚至更多动作人的错误常常停留在单次操作Agent 的错误会沿着自动化工作流连续传播人的决策通常还有时间被别人观察而 Agent 的判断、调用与执行之间可能只隔几十毫秒。所以 AI 并没有创造不完美主体它真正改变的是——不完美开始具有机器速度。当一个 Fallible Subject 同时具备高自主性、高执行速度、高权限和连续操作能力它就不再只是运营层面的操作风险而变成了系统架构问题。五、传统权限系统解决的是资格而不是判断IAM、RBAC、ABAC、PAM、Zero Trust 都非常重要但它们本质上主要回答一个问题某个主体是否拥有使用某种能力的资格。某个人能不能访问数据库某个服务能不能读取对象存储某个 Agent 能不能调用 Payment API某个管理员能不能删除资源——这些都可以抽象成 WHO can do WHAT并且已经覆盖了现代数字系统中极其重要的一部分安全问题。但当主体本身可能犯错时WHO 加 WHAT 就不够了。真正决定现实结果的还包括这个动作属于什么任务、操作的对象是谁、当前系统处于什么状态、原有条件是否仍然成立、参数有没有发生变化、有没有足够证据证明它仍然符合原始意图。缺少其中任何一项一个完全合法的权限都可能产生错误结果。于是问题从 WHO can do WHAT变成了WHO在什么 Mission 下针对什么 Object在什么 State 中依据什么 Proof可以让哪一种 Action 真正发生这已经不只是 Identity Problem也不只是 Authorization Problem它开始进入 Execution Problem。权限回答的是你有没有能力做执行安全回答的是这一次到底应不应该让它发生。这两个问题以前经常被混在一起AI Agent 正在迫使我们重新把它们拆开。六、过去真正的最后一道安全边界其实是人的判断很多软件系统看起来并没有执行控制层却依然能长期稳定运行原因在于人类一直在承担那个角色。工程师执行rm之前会再看一眼路径财务人员付款之前会核对收款方DBA 执行 SQL 之前会确认 Where 条件运维重启生产服务之前会观察业务状态管理员批准权限之前会读一遍申请原因。这些行为没有被严格写进 IAM也没有全部编码进 Policy但它们构成了现实世界里一层重要的语义缓冲——人一直在权限和执行之间做最后一次判断。这也是为什么传统软件时代给一个主体权限通常不会立刻变成灾难权限并不等于自动执行中间还隔着人。而 Agent 正在压缩掉这段距离。它接收任务、理解任务、制定计划、调用工具、然后执行Intent、Decision 和 Execution 快速收敛到同一个主体内部。一个过去需要三个步骤、两次确认、几十秒才能发生的动作现在可能在一次 Agent Loop 里自动完成。因此 AI Agent 带来的架构变化也许不在于机器获得了更多权限。而在于判断权与执行权第一次大规模聚合在同一个不完美主体身上。七、HUMAN-IN-THE-LOOP 为什么并没有彻底解决问题一个自然的应对是把人重新放回来Agent 提交动作人负责批准。这是目前很多企业采用的路径在大量场景中确实有效。但从不完美主体的角度继续推演它并没有触及最底层的问题因为人本身同样是 Fallible Subject。一个审批者每天面对几十条请求时可以认真判断面对几百条时开始疲劳面对几千条机器生成的请求时Human-in-the-Loop 很容易退化成 Human-next-to-the-Loop。人仍然坐在那里仍然拥有 Approve 按钮每个动作也都有人工记录但真正的判断能力可能已经被请求规模压垮。更根本的是如果系统只是把 AI 的判断转交给另一个不完美主体确认它依赖的仍然是同一个假设最后总会有一个主体是正确的。过去我们相信工程师后来我们相信审批人未来也许有人希望相信更强的模型。这个逻辑始终没有离开寻找一个足够可信的主体。问题可能恰恰出在这里。八、安全系统不应该寻找一个完美主体可靠性工程早就接受了一个常识组件会失败。磁盘会损坏网络会中断节点会宕机软件会有 Bug传感器会返回异常值。因此成熟系统不会把可靠性建立在某个组件永远不失败之上而是用冗余、校验、隔离、仲裁、恢复和 Fail-Safe 机制让组件失败之后系统仍能维持边界。但在安全系统里我们对主体的处理却往往相反努力寻找一个可信主体然后把最终决定权交给它——管理员、Owner、审批者、AI Agent、某个最高权限账户、某个 Root of Trust。这背后是一种主体中心主义认为只要找到那个足够可信的人、程序或设备系统最终就能安全。Fallible Subject 指向另一个方向不去证明某个主体永远不会错而是让任何主体犯错之后都无法轻易改变现实。这意味着安全设计要从信任主体转向约束行动从谁说了算转向什么条件满足以后才允许发生从找一个最终可信者转向构造一个不存在单点绝对权力的执行结构。成熟的安全不应该建立在某个主体永远正确之上而应该建立在任何主体都可能错误这一事实之上。这一点对 AI Agent 尤其重要。我们未来面对的既不会是一个完美的超级智能也不会永远停留在今天偶尔幻觉的模型。更可能的长期现实是模型越来越强自主性越来越高可调用的能力越来越多执行速度越来越快但它依然无法拥有对现实的绝对理解。这就足以让不完美主体成为一个长期问题。九、从可信主体走向可信结构如果承认主体天然不完美下一个问题就变得更根本安全究竟应该建立在什么之上答案可能不再是某一个人也不再是某一个模型而是一种结构。这种结构允许 Agent 做判断但不允许它独占最终执行资格允许人进行授权但不意味着 Owner 拥有无限制的执行能力允许 SaaS 参与协同但不把最终现实控制权交给 SaaS允许设备执行动作但设备本身同样受独立边界约束。每个参与者都可以拥有能力却没有任何一个参与者因为身份最高、权限最大或理论上最可信就天然获得把任意意图直接变成现实的资格。此时安全系统追求的不再是 Perfect Subject而是 Reliable Structure among Fallible Subjects。真正稳定的控制从来不是我相信你不会犯错而是即使你犯错也有东西能阻止错误继续向现实传播。十、不完美主体是 AI 安全真正的起点今天关于 AI 安全的讨论大量集中在 Prompt Injection、Hallucination、Jailbreak、Model Alignment、Tool Abuse 和 Agent Permission。这些问题都重要但它们背后共同指向一个更底层的事实我们正在把越来越多的现实能力交给一个天然不完美的主体。如果仍然沿用过去那套逻辑——认证它、授权它然后相信它知道自己在做什么——那么随着 Agent 能力增强我们只是在不断把更大的现实权力交给一个无法被证明永远正确的行动者。真正需要改变的也许不是让 AI 成为完美主体而是让系统不再需要任何完美主体。人可以错AI 可以错SaaS 可以错Policy 可以缺失设备可以异常上下文可以不完整。成熟的安全结构应该在这些事情发生之后仍然能够回答一个问题这个错误有没有资格真正进入现实传统安全花了几十年解决这个主体是谁。AI Agent 时代需要补上另外半句即使它真的是它我们为什么还应该相信它这一次知道自己在做什么。当这个问题开始成立身份、权限、审批、信任、控制、执行与证据之间原本模糊的边界都需要被重新理解。因为最终需要保护的从来不是谁拥有权力。而是谁有资格让某件事情真正发生。一个成熟系统最重要的能力也许不是找到那个永远不会犯错的人而是即使所有参与者都可能犯错它依然清楚什么事情绝不能发生。

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价