继2024年发布《人工智能安全治理框架1.0》、2025年发布《人工智能安全治理框架2.0》之后9月14日网安标委再次更新人工智能安全治理框架。此次更新延续“风险分类、技术应对、综合治理”的核心逻辑对人工智能安全风险分类、技术应对措施和综合治理措施进行了梳理与优化。与单纯讨论模型技术能力不同《框架3.0》更加系统地审视了人工智能从研发、部署到运营、使用的全过程并将智能体、具身智能、个人信息保护、生成内容溯源等问题纳入安全治理视野。对于正在开发AI产品、准备开展生成式人工智能服务备案或者已经上线运营的企业来说这份文件值得认真研究。它传递出的一个重要信号是人工智能安全治理正在从关注模型本身进一步延伸到产品功能、应用场景、运营管理与实际使用的全生命周期。一、AI从“回答问题”走向“执行任务”安全风险也在发生变化要理解《框架3.0》的重点首先要看它对人工智能发展趋势的判断。文件在前言中指出随着基础大模型在长程任务规划、长上下文记忆和复杂任务推理等方面不断突破智能体的任务规划、工具调用和跨应用协作能力持续增强人工智能应用也正在从“回答问题”向“执行任务”迭代演进。这意味着人工智能的安全风险已经不再局限于模型生成了什么内容。过去一个AI问答产品出现问题可能表现为生成错误答案、输出不当内容或者泄露个人信息。而当AI进一步获得联网搜索、文件读写、数据库访问、外部API调用乃至自动执行操作的能力时风险就可能从内容层面延伸到实际行为层面。例如智能体可能因权限设置不当访问不应访问的数据因外部指令注入偏离原定任务因调用了存在安全问题的插件而执行异常操作甚至在没有适当人工干预的情况下造成实际损失。《框架3.0》对此进行了专门分析将智能体风险细分为身份和权限滥用、推理规划、调用执行、记忆存储等类型并提出了相应的技术应对措施。对于开发智能体产品的企业这尤其值得重视。一个产品能够完成多少任务固然体现了它的技术能力但它能访问什么资源、能够执行哪些操作、发生异常时能否及时停止同样决定了产品是否具备可控的安全边界。AI能力越强企业就越不能只关注“能不能实现”还必须考虑“应该允许它做什么以及出现问题后如何及时控制”。二、从三类安全风险看懂《框架3.0》的治理思路《框架3.0》延续了风险分类的整体框架将人工智能安全风险划分为内生安全风险、应用安全风险和衍生安全风险三个类别。这三类风险相互关联共同构成了人工智能安全治理的基本分析框架。首先是人工智能内生安全风险主要涉及模型、算法、数据、算力设施与运行环境。其中既包括模型幻觉、安全机制不可靠、注入攻击和行为偏离预期也包括算法可解释性不足、算法偏见与歧视、训练数据来源不清、数据投毒以及个人信息泄露等问题。这意味着人工智能安全不能只依赖产品上线后的内容审核。模型算法本身的可靠性、训练数据的质量与合法来源、运行环境的安全性同样是需要考虑的因素。其次是人工智能应用安全风险。这是与大多数AI产品开发者关系最为直接的一类风险。《框架3.0》不仅涉及智能体和具身智能安全还专门讨论了网络安全、信息内容安全、个人信息权益以及现实安全等问题。例如模型可能输出违法信息生成内容可能混淆事实、误导用户检索增强生成RAG应用可能受到知识库投毒影响AI产品也可能在收集用户交互数据时出现个人信息保护方面的问题。值得注意的是文件将知识库、文档库、网页数据源以及智能体记忆模块受到污染所带来的风险纳入分析。这说明对于依赖外部知识、联网搜索和长期记忆的AI产品仅仅评估基础模型并不足够还需要关注应用在实际运行中接触的数据和外部资源。最后是人工智能衍生安全风险涉及社会、环境、文化与伦理等更广泛的领域。其中包括人工智能对劳动就业、教育和现实社交的影响也包括文化多样性、社会偏见、情感依赖等问题。对于提供拟人化互动服务的企业而言《框架3.0》特别关注用户过度依赖、情感操纵以及未成年人身心健康等风险提出应具备相应的风险预警、情感边界引导和使用时长提醒等安全能力。从这三类风险可以看出《框架3.0》并没有将人工智能安全简单理解为模型输出审核而是把模型、数据、应用、用户权益以及更广泛的社会影响放在一个整体框架中考量。三、值得AI产品企业重点关注的几个变化如果结合企业实际开发和运营AI产品的过程来理解《框架3.0》中有几项内容尤其值得关注。1. 内容审核需要与产品功能深度结合信息内容安全仍然是人工智能应用治理的重要组成部分但文件提出的措施并不止于发现违规内容后进行处理。《框架3.0》第3.2.4条提出应对模型输出进行动态过滤采取技术手段与人工复核相结合的方式防止生成违法、价值偏差的内容同时建立应急处置与熔断机制发现违法信息后及时停止传输并消除影响。在应用建设部署阶段第5.2.7条进一步提出应采用安全护栏等技术手段识别、拦截违法不良内容和提示词注入攻击防范输出内容超出业务范围。这些内容对AI产品开发有着非常实际的参考价值。企业需要结合自身产品的功能和使用场景考虑如何识别高风险请求、限制不当输出、处理恶意诱导以及在安全机制未能有效拦截时如何介入处置。真正有效的内容安全管理不能仅仅依赖一份制度文件也不能只在产品上线前进行一次测试。安全机制还需要能够在实际交互过程中发挥作用并具备必要的监测、反馈和应急处置能力。2. 智能体需要建立权限边界和人工干预机制智能体的安全问题是《框架3.0》值得重点关注的内容之一。文件提出应为智能体赋予唯一身份标识和对应凭证按照任务需要设置最小权限在工作流中设置多层检测与拦截点并在关键节点安排强制人工审批。同时对于智能体调用的外部工具、插件和技能等资源应当验证其安全性与完整性在运行过程中还应记录相关操作与处理行为使智能体行为可感知、可追溯、可审计。这对AI应用开发企业意味着什么如果产品仅提供普通的文字问答功能所需控制措施与具备自动执行能力的智能体并不相同。后者可能直接调用外部系统、操作文件、处理订单或执行其他任务因此需要更明确的权限配置、操作限制和异常处置机制。对于可能产生较大影响的操作企业应认真考虑是否需要人工确认对于异常调用应当具备及时阻断的能力对于已经执行的操作则应保留必要的记录以便事后追溯和分析。安全治理不是一味限制AI能力而是让产品具备与自身能力相匹配的控制机制。3. 生成内容标识与可追溯管理不可忽视随着生成式人工智能在文字、图片、音频和视频等场景中的应用不断扩大人工智能生成内容的识别与溯源问题也越来越重要。《框架3.0》第3.2.4条提出应对人工智能生成合成内容进行标识实现可识别、可追溯、可信赖。第5.3.4条则提出应在人工智能生成内容内添加显式或隐式标识做好生成合成内容提示和溯源管理。这并不意味着企业只要在页面上增加一行“内容由AI生成”的文字就足够了。对于实际提供生成式人工智能服务的产品企业还需要结合适用的内容标识规则审视生成内容如何添加标识、不同输出形式如何处理、相关标识如何保留以及在内容传播和使用过程中如何降低用户误认风险。特别是具备图片、音视频生成能力或者能够将生成内容直接发布到其他平台的产品更应在产品设计阶段考虑标识与溯源问题而不是等到功能上线后再补充。4. 用户数据和外部知识来源需要持续管理AI产品的安全问题往往也出现在模型以外的数据环节。《框架3.0》提出企业应关注训练数据和用户交互数据在收集、存储、使用、加工、传输等各个环节的安全风险落实数据安全与个人信息保护要求。对于采用知识库问答、检索增强生成和联网搜索等技术的产品文件还专门提出应加强外挂知识库和外部知识来源管理防范知识库投毒与内容污染定期检测和清理不当内容并确保生成内容来源可溯、真实可靠。这对产品开发者提出了更具体的要求。一方面需要明确用户输入的信息如何被收集、保存和使用防止超范围处理个人信息另一方面也需要关注产品引用的外部数据是否可靠知识库是否存在过期、错误或被恶意篡改的内容。AI产品的安全边界不仅取决于模型本身也取决于它接触什么数据、能够访问哪些资源以及企业是否拥有持续管理这些资源的能力。5. 上线不是安全工作的终点《框架3.0》第5.3节专门提出了人工智能应用运行管理的安全指引。文件要求建立安全管理和监督机制、运行监测能力与安全事件应急预案并关注应用更新、升级、微调和功能权限调整带来的风险。其中第5.3.6条提出应记录人工智能应用运行日志包括系统行为、用户行为等日志留存时间不少于6个月并定期对日志记录进行审计。第5.3.19条则提出对模型及应用进行更新、升级、微调或调整功能权限时应对重要变更进行安全评估确认变更后安全能力不下降并保留回退能力。这两项内容尤其值得已经上线运营的AI企业研究。一个AI产品上线时的功能与风险情况可能随着模型更换、提示词调整、知识库更新、插件接入、权限变化和用户规模扩大而发生变化。因此企业需要建立持续性的安全管理机制而不是将安全评估视为一次性工作。这里也需要说明上述内容是《框架3.0》提出的安全指引具体适用要求仍应结合企业业务类型、现行法律法规、适用标准及主管部门要求综合判断不能将框架中的每一项表述直接等同于新增的法定义务。四、对算法备案企业而言真正需要关注的是什么作为长期从事生成式人工智能算法备案服务的机构我们认为《框架3.0》值得AI企业关注的地方不仅在于它列出了哪些安全风险更在于它系统展示了人工智能安全治理应当如何贯穿研发与应用全过程。对于正在准备生成式人工智能算法备案的企业这一点尤其重要。首先需要正确理解这份文件的定位。《框架3.0》不是专门发布的算法备案流程调整通知也没有宣布算法备案申报条件、办理程序或审核周期发生变化。企业不能仅凭这份文件就推断备案政策出现了新的变化。但从产品安全建设的角度看这份文件确实提供了值得参考的治理思路。按照文件的结构人工智能安全指引涵盖模型算法研发、应用建设部署、应用运行管理和访问使用四个环节。换句话说企业不能只关注模型本身还应结合实际产品的功能、应用场景以及运行方式识别对应的安全风险。其次企业需要关注安全材料与产品实际能力之间的一致性。在备案准备过程中企业对产品功能、安全机制和运营管理措施的描述应当能够与实际产品相互对应。对于企业声称具备的内容审核、风险拦截、用户反馈、应急处置等能力需要进一步确认这些能力是否已经在产品中落实以及出现异常时由谁负责处理。例如企业如果开发了一款具备联网搜索和知识库问答能力的AI应用就不能只描述基础模型自身的安全机制还应当关注外部知识来源、生成内容审核和数据安全管理。如果产品进一步引入智能体功能允许AI调用工具或执行任务那么身份认证、权限控制、人工审批、异常调用拦截和操作日志等问题也可能成为产品安全建设需要考虑的重点。最后企业还应当建立持续运营的意识。安全合规并不是完成一次备案材料提交就可以一劳永逸。随着产品功能升级、底层模型更换、应用场景扩展以及用户规模变化企业需要及时重新审视安全风险并完善相应的管理和技术措施。对于尚处于产品开发阶段的企业现在就将安全要求纳入产品设计通常比产品上线后再进行大规模整改更为合理。算法备案不应只是材料准备工作更应成为企业系统梳理产品安全能力、完善合规管理机制的一个契机。五、从“能够备案”走向“能够安全运营”回顾《人工智能安全治理框架1.0》《人工智能安全治理框架2.0》到《人工智能安全治理框架3.0》的持续更新可以看到人工智能安全治理正在不断回应技术发展带来的新问题。从模型安全、算法偏见和训练数据管理到智能体权限、生成内容溯源和全生命周期安全管理治理视角正在覆盖更多产品形态与应用环节。对于AI产品企业而言不能只在申报备案时关注需要提交什么材料还应当在产品研发、部署、上线和运营的各个阶段持续审视自身的安全能力。作为算法备案服务机构我们在协助客户准备备案材料的同时也重视产品安全与合规管理功能的梳理会结合客户的产品形态和业务场景提供相应的安全合规功能建设建议及文档指导帮助企业进一步明确需要完善的安全机制与管理流程。因为我们始终认为真正有价值的备案服务不应当只停留在帮助企业完成材料申报而应当帮助企业更清楚地认识自身产品可能面临的安全风险并为后续合规运营打好基础。人工智能技术仍在快速发展产品形态、应用场景和安全风险也会不断变化。对企业来说越早建立系统性的安全治理意识就越有机会将合规要求融入产品设计与运营管理之中。让AI产品不仅能够落地更能够安全、稳定、可持续地运行才是人工智能产业健康发展的重要基础。