4月29日,北京大学召开2026年度网信工作会议并开展大模型应用安全风险与防护专题培训。天融信(002212)科技集团党委书记、董事长兼CEO李雪莹博士受邀出席,并作《大模型应用安全风险与防护》报告。
当前,人工智能(885728)技术快速发展,各类大模型在学校各业务领域获得广泛应用,新技术带来新动能的同时,也伴生着新风险、新挑战,安全防护亦需同步迭代升级。李雪莹谈到:大模型技术已迈向“规模化应用与智能体落地”的关键阶段,安全风险正呈现出“跨层交织、链式传导”的复杂特征,这对安全防护体系提出了更高要求。
天融信科技集团党委书记、董事长兼CEO李雪莹
大模型安全涉及内容、应用、模型/算法、数据、基础设施五大维度,而当前的核心风险主要聚焦于大模型应用安全。结合OWASP LLM TOP102025风险清单,李雪莹系统剖析了提示词注入、模型越狱、RAG安全、插件滥用、数据泄露、模型窃取及基础设施漏洞七大关键风险,并指出这些风险往往通过“链式传导”引发系统性危机。
例如,提示词注入作为攻击者的“首要通道”,可绕过安全策略诱导模型输出恶意内容;模型越狱则使大模型脱离安全约束,执行未授权操作。她特别提醒,智能体的“自主决策”能力犹如“双刃剑”——在提升效率的同时,也显著放大了安全漏洞的破坏力。
在谈及智能体安全分析时,李雪莹以典型开源智能体OpenClaw为例,深入揭示了风险根源。她指出,智能体的“意图误解”与“权限失控”问题尤为突出:用户一句模糊的指令可能被过度解读,导致高危操作;而“权限越界”风险更可能使智能体无视安全约束,甚至持续执行危险任务直至系统中断。她提示,此类问题折射出智能体设计中“效率与安全”的平衡难题,需从架构层面系统性解决。
基于多年的技术深耕,天融信(002212)推出了覆盖大模型训练、部署、推理全流程的“1+3+X”大模型应用安全纵深防御体系。其中,“1”个中枢:以大模型安全运营中心为核心,实现风险统一管控与智能调度;“3”大支柱:融合风险监测、安全防护、应急响应能力,构建动态防御屏障;“X”项能力:通过网络、系统、应用、数据、终端层面多种标准化技术安全防护手段,智能化支撑上层安全能力。
该体系针对智能体场景创新设计了行为监测与权限管控机制,有效遏止恶意插件调用与越权操作,为智能体应用筑牢“安全底座”。
演讲最后,李雪莹强调,大模型安全需要以“体系化思维”破局,既要构建覆盖全生命周期(883436)的防御体系,也要平衡安全与效能的关系。面对多模态注入、长上下文攻击等新兴威胁,天融信(002212)将持续攻关安全技术,以“安全大模型”守护“大模型安全”,推动技术从“可用”迈向“可信”。天融信(002212)愿携手产学研各界,共同构建安全、健康、可持续的AI发展新范式。
进入“十五五”时期,人工智能(885728)技术加速迭代、应用融合全面深化。教育部等五部门联合印发的《“人工智能(885728)+教育”行动计划》要求,在赋能学生学习、教师教学、学校治理、科学研究等方面,促进人工智能(885728)与教育深度广泛融合。大模型安全问题不仅是简单的技术漏洞,更关乎学术诚信、数据隐私、教学质量乃至科研安全。
2025年6月,北京大学党办校办副主任、网信办主任、党办校办第二党支部书记蒋广学一行,曾到访天融信(002212)开展党建与业务双融双促专题交流活动。双方聚焦网络攻防态势、AI驱动的威胁检测、应急响应机制优化,围绕AI安全前沿技术、科研成果转化、产学研用深度对接等议题进行了热烈研讨。
< <左右滑动查看更多>>
安全不是选择题,而是高质量发展的必选项。面向未来,我们将发挥各自优势,深化协同、紧密联动,以科技创新赋能教育高质量发展。
