Artificial Analysis Intelligence Index v5 基准上线,DeepSeek V4.1 Flash 1017 为 FrontierCode 2.0 开源模型最高成绩

2026-10-29 01:45:54
来源:IT之家
分享
AIME

问财摘要

1、Artificial Analysis发布了Intelligence Index v5,这是该机构自2026年1月v4上线以来幅度最大的一次基准重构。最直接的变化是,60%的评测权重首次建立在私有测试集或隐藏答案之上,用于压缩公开题库被模型训练数据“污染”的空间,减少了各厂商为了跑分而跑分的“注水”测试项目。 2、其中最值得关注的FrontierCode2.0完全换了一套评分逻辑。132项任务全部来自真实开源仓库,模型提交的代码改动不再只由单元测试是否通过来判定,而是由该仓库的维护者按“是否愿意合并这个PR”来打分,任何一项阻塞性检查失败即记零分。 3、在这一评分逻辑下,DeepSeek V4.1-Flash1017(max)在FrontierCode2.0上录得28%,是所有已发布权重模型中得分最高的一个。
免责声明 内容由AI生成
文章提及标的

IT之家10月29日消息,Artificial Analysis昨日发布了Intelligence Index v5,这是该机构自2026年1月v4上线以来幅度最大的一次基准重构。

最直接的变化是,60%的评测权重首次建立在私有测试集或隐藏答案之上,用于压缩公开题库被模型训练数据“污染”的空间,减少了各厂商为了跑分而跑分的“注水”测试项目。

该指数仍由九项评测构成,包括知识工作、编码、科学、通用能力各占25%。其中编码25%的权重里,Cognition(CGTX)于同日发布的FrontierCode2.0独占15%,Terminal-Bench4.0占10%。

其中最值得关注的FrontierCode2.0完全换了一套评分逻辑。132项任务全部来自真实开源仓库,模型提交的代码改动不再只由单元测试是否通过来判定,而是由该仓库的维护者按“是否愿意合并这个PR”来打分,任何一项阻塞性检查失败即记零分。

Cognition(CGTX)在6月推出FrontierCode初版时就强调,传统基准只检查代码能否跑通,而合并决策还涉及改动范围是否克制、风格是否与代码库一致、回归风险是否可控等测试无法完全覆盖的维度。v5将这一基准升级到2.0并纳入主指数,等于把“可合并性”而非“可运行性”推到了编码能力评价的中心。

在这一口径下,DeepSeek V4.1-Flash1017(max)在FrontierCode2.0上录得28%,是所有已发布权重模型中得分最高的一个。

Kimi K3.1Pro以25.5%紧随其后,但其完整权重按月之暗面官方博客的表述,要到11月4日前才发布,AA在v5报告中将其标注为“weights not yet released”。

谷歌Gemini4Argon(high)为25.7%,GPT-6Luna为25.2%,均低于DeepSeek V4.1Flash。需要说明的是,这一成绩位于FrontierCode2.0单项之内;在Intelligence Index v5的综合得分上,DeepSeek V4.1Flash与GLM-5.3同为32分,仍落后榜首Claude Opus5.5(58分)26分,且低于Claude Haiku5.5的36分。

Artificial Analysis指出,v5真正加剧的是开源与闭源前沿之间的整体距离。v4.3时,最强开源模型与榜首的差距是3分;v5把大部分公开题换成私有题、并大幅加重智能体实战任务的比重之后,这一差距扩大到12分。Kimi K3.1Pro以46分成为名义上最强的开源权重模型,但它尚未发布权重;已发布权重的模型中,32分是当前的天花板。

差距在HLE-Diamond和Terminal-Bench-Science两项上最为刺眼:Kimi K3.1Pro分别为37%和34%,而Claude Opus5.5在HLE-Diamond上为68%,GPT-6Astra在Terminal-Bench-Science上为63%。

v5并没有让开源模型“一夜变差”,它改变的是测量的东西——当题目不再公开、评分不再只看通过率,那些依靠公开题库优化出来的分数被系统性地挤掉了水分。

另一个被v5放大的变量是“努力值”(思考等级)的成本优势。Claude Opus5.5从低努力档到max档跨越23分,单任务成本从0.98美元升至10.04美元,相差约10倍。

Claude Sonnet5.5在不同努力档之间的分差从v4.3的20分扩大到29分,GPT-6.1Sol的跨度翻倍至20分。这意味着同一模型在“省钱模式”和“全力模式”下的表现差距,已经大到不像一个模型。

在得分最高的十款模型中,GPT-6.1Terra的每任务成本最低,为0.96美元,Claude Fable5.1最高,为13.04美元,相差超过13倍。

与 v5同步推出的Progress Index v1则处理另一个问题:当基准本身每隔几个月就换一次,不同年代的模型如何放在同一把尺子上比较。Progress Index将2022年11月以来发布的主要语言模型映射到一个连续的能力尺度上,其设计参考了Epoch AI的Epoch Capabilities Index的方法。Intelligence Index继续作为衡量“当下前沿”的主指标,Progress Index则用于观察“能力随时间如何演进”,两者回答的是不同问题。

实际上,v5的九项评测中没有任何一个模型全部领先:Claude Opus5.5拿下FrontierCode2.0、HLE-Diamond和AA-Omniscience三项,GPT-6Astra在Terminal-Bench-Science和CritPt v2困难子集上居首,Kimi K3.1Pro在Terminal-Bench4.0上以67%领先,单项优势的分散程度比总分排名更值得注意。

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME