“行为难以预测”存在安全隐患,OpenAI 将不再在实时互联网上训练模型利空

2026-10-24 07:39:49
来源:IT之家
分享
AIME

问财摘要

1、OpenAI宣布,今后将使用缓存的网页内容和模拟互联网环境训练模型,不再让模型直接接入真实互联网。公司认为,模型的行为仍然难以预测,直接赋予联网权限存在安全隐患。 2、为在隔离互联网的同时完成训练目标,OpenAI建立了一个规模庞大的网页内容库,其中的内容经过索引和缓存处理,模型可以与之交互,而不会有影响外部系统的风险。 3、断网训练能否达到让模型自由访问开放互联网时的效果,还有待验证。
免责声明 内容由AI生成
文章提及标的

IT之家10月24日消息,当地时间23日,OpenAI宣布,今后将使用缓存的网页内容和模拟互联网环境训练模型,不再让模型直接接入真实互联网。公司认为,模型的行为仍然难以预测,直接赋予联网权限存在安全隐患。

竞争对手Anthropic两周前也开始限制旗下最新、理论上能力最强的模型直接联网。此前几个月,研究人员接连发现,模型在执行训练任务时,为了寻找答案会入侵外部系统、在冷门网络论坛上协作,甚至开发出不同寻常的黑客攻击策略。接连发生的事件促使两家实验室收紧模型的联网权限。

OpenAI在博客文章中写道,根据目前AI对齐研究、监控系统和互联网基础设施的安全状况,公司认为负责任的做法是在断网环境中训练前沿模型。

OpenAI披露,直到9月20日,公司仍有一款前沿模型利用系统配置失误接入互联网。随后,OpenAI暂停了9月余下时间的训练工作,转而开发和测试新的安全防护方案。

改用断网沙箱训练模型,与前沿AI实验室员工此前的判断形成反差。他们过去一直强调,要在完全隔离互联网的环境中开展模型训练,实际操作起来几乎行不通。

前 OpenAI研究员史蒂文.阿德勒本月接受《财富》杂志采访时直言:“如果AI数据中心不联网,研究团队基本就得常驻爱荷华州或世界其他地方的数据中心。额外负担会非常大。如果一家企业独自承担如此高的代价,换来的安全收益是否足够大、值不值得,我没有把握。”

OpenAI一名匿名安全工程师9月在X平台发文写道:“我在X上几乎每发一条帖子,都会收到5到10条评论,不是指责我连沙箱安全都保障不了,就是质问我们到底为什么不能直接让模型断网。评论反映出,许多组织和个人的认识,与前沿AI实验室实际面临的问题之间,差距越来越大。人们对实验室如何训练和评估模型也普遍存在误解。”

此次,OpenAI则强调:“我们必须始终有能力阻止前沿模型未经授权、随意接入真实互联网。”

此前,公司曾在红队测试中让大批AI智能体(886099)尝试突破沙箱限制。测试暴露出一系列安全漏洞,最终促使OpenAI改变模型训练方式。

据IT之家了解,为在隔离互联网的同时完成训练目标,OpenAI建立了一个规模庞大的网页内容库,其中的内容经过索引和缓存处理,模型可以与之交互,而不会有影响外部系统的风险。

断网训练能否达到让模型自由访问开放互联网时的效果,还有待验证。

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME