从“管模型”到“管行动”:网信办新规下的AI智能体安全治理挑战

2026-06-05 07:06:39
来源:普华永道
作者:普华永道
分享
文章提及标的
AI智能体--
周期--
强生--
能源--

当下,AI智能体(886099)领域正处在前所未有的技术加速期,技术突破正不断拓展商业化的可能性边界。但在释放这些技术价值的同时,其高自主性、高权限的特性也带来了全新的安全挑战,而中国对AI智能体(886099)的监管,也正在进入一个关键转折点。

近期,国家网信办、国家发展改革委、工业和信息化部三部门联合印发《智能体规范应用与创新发展实施意见》(以下简称《实施意见》),作为我国首部针对智能体领域的系统性顶层设计文件,其重要性不只在于它在现有合规体系上增加了一层新要求,而在于它第一次正式把AI智能体(886099)(Agent)作为独立监管对象来定义、治理和产业化推进。这也意味着一个明显变化:监管对AI的管控核心正在从“管模型”进入“管行动”阶段。

过往针对AI的监管,核心往往聚焦于模型本身的能力、生成内容真实性与合法性、产品备案、安全评估和隐私保护合规。然而,Agent的核心属性已经突破了传统生成式AI的“内容生成”定位:它可以理解任务目标、制定执行计划、调用各类工具接口、访问数据、保留交互记忆、自动执行操作,甚至与其他Agent自主协同完成复杂流程。因此,Agent的核心风险也从传统大模型的“说错话”,即内容层面的偏差,延伸到了“做错事”,即行动层面的失控。

基于这样的风险传导逻辑,不难理解本次《实施意见》为何反复强调“安全可控”、“行为管控”、“权限边界”、“风险阻断”和“恢复能力”这几个关键方向。对于部署企业级AI智能体(886099)的市场主体而言,未来不能只依赖prompt护栏(guardrail)或内容审核这类面向“内容输出”的传统手段,还必须具备Agent执行全流程运行时安全与行为治理能力,这其中包括:

这一治理逻辑的转变,标志着AI监管已经从传统的“内容合规治理”,正式延伸到“行为全周期(883436)治理”的新阶段。

而在政策要求之外,企业当下还面临一个更现实、更棘手的挑战:影子AI(Shadow AI)。当前,很多企业拥抱AI时遇到的最大挑战,并非缺乏正式的AI战略,而是大量AI的使用已经发生在“不可见”的地方:员工可能在未授权的AI工具中上传客户隐私信息、涉密合同、代码、财务数据、会议纪要或未公开的内部文档;业务团队可能自行采购SaaS AI工具;开发团队可能接入未经评估的模型、插件、API接口或开源AI智能体(886099)框架。这些游离在企业传统管控体系以外的AI使用行为,会直接带来数据泄露、隐私合规、商业秘密外泄、第三方风险、供应链风险等一系列潜在隐患。

而Agent的普及会进一步放Shadow AI的风险量级。过去的Shadow AI风险主要集中在“不当数据外传”或“生成内容存在事实偏差”;但进入Agent时代,它可能将进一步变成更具危险性的行动类风险,具体可表现为:

这也意味着,企业的AI治理不能仅覆盖正式的AI项目。治理的首要前提,是先全面掌握企业内部的AI应用的分布与使用情况,而及时、有效的AI发现(AI Discovery)能力,是根源上降低Shadow AI风险的核心基础。

企业需要建立常态化的AI资产盘点机制,持续识别以下维度的信息:

没有AI Discovery能力,治理就无从谈起。看不见的AI应用,谈不上合规;看不见且不可控的Agent,更谈不上自治可控。

一个真正可落地的企业级智能体,远不是大模型(LLM)+ 检索式增强生(JNJ)成(RAG)+ 工具调用的简单组合。它至少需要构建以下九大核心能力,包括:

《实施意见》中还特别提到智能体标准体系、智能体互联协议AIP、智能互联网体系架构,以及智能体注册平台等前瞻性布局。释放出明确的行业信号:未来智能体可能会进入一个可识别、可注册、可认证、可互联、可监管的生态体系。这一监管思路并不是对AI智能体(886099)创新的限制。相反,政策文件同时鼓励智能体在制造、能源(850101)、交通、金融、教育、医疗、政务、司法、科研等重点行业的落地,其真正的方向是推动AI智能体(886099)从实验性工具,走向受监管、可控、可规模化部署的产业基础设施。

基于此,普华永道设计了企业级AI智能体安全框架:

企业级AI智能体安全框架

(AI Agent Security Framework)

全方位为企业部署AI智能体(886099)构建了安全治理能力的基石,帮助企业在乘上AI快车的同时,实现安全、自治、可控的AI创新与使用体验。

未来,企业级Agent的核心竞争力,将不仅仅是“更聪明”,而是“更可控”。在AI智能体(886099)全面融入企业业务流的时代,安全合规、行为可审计、风险可中断、异常可回滚,不会再是锦上添花的附加功能,而是其进入真实业务场景、承载核心业务的必备入场券。未来企业的竞争,比拼的也不只是看谁的Agent功能更强,而是看谁能真正实现AI智能体(886099)全生命周期(883436)的安全自治、可控可信。

对此,一个值得企业管理层、安全团队和合规团队共同思考的问题是:

AI智能体(886099)开始访问企业数据、调用工具、执行流程、连接外部系统时,你的企业是否真正知道它们在哪里、能做什么、拥有哪些权限?是否能在出现异常风险的第一时间实现操作中断、影响回滚与责任溯源?

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME
举报举报
反馈反馈