商汤开源 SenseNova Loop-9B-Preview:探索以计算深度释放模型潜力

2026-10-30 20:41:06
作者:商汤君
分享
文章提及标的

我们开源商汤日日新SenseNova Loop-9B-Preview。这是商汤面向下一代模型架构的一项前沿探索:它采用创新Looped Transformer架构,引入循环计算、扩展模型的有效计算深度,并探索更充分的信息交互机制,提升模型在复杂任务上的处理能力,在仅9B的有限参数规模下,媲美27B参数大小模型。

从参数规模到计算深度

随着大模型能力持续演进,模型能力提升不再只有扩大参数规模一条路径。如何在控制参数规模的同时,通过增加有效计算深度进一步释放模型潜力,正成为值得探索的方向。近期,循环计算正成为大模型架构研究的重点方向,国内外研究社区围绕Looped Transformer展开了攻关探索。但目前的探索多停留在学术研究层面,社区尚缺乏可直接面向日常使用的Looped Transformer模型。

此次开源的SenseNova Loop-9B-Preview,为社区提供了一个9B级Looped Transformer的开源实践,既填补了这一空白,体现了商汤对下一代大模型架构的持续探索与思考。

不过,如何让多轮计算真正转化为模型能力的提升,尤其是在信息传递、特征交互和训练稳定性等方面,仍有进一步探索的空间。现有相关工作仍以研究验证为主,如何在更大模型规模下兼顾计算深度、模型能力与实际应用需求,也有待持续推进。

循环结构与信息交互机制

SenseNova Loop-9B-Preview以9B尺度模型为基座,保留首尾各4层原始解码器模块,将中间层改造为参数共享的循环计算模块,通过多轮迭代扩展有效计算深度。

在此基础上,模型进一步探索循环计算中的信息传递机制,尝试引入mHC(Manifold-Constrained Hyper-Connections),利用多路残差连接与受约束的信息混合,增强特征交互并维持信号传播的稳定性。整体设计旨在控制参数规模的同时,探索提升模型推理能力的新路径。

模型表现:在多类复杂任务中展现潜力

SenseNova Loop-9B-Preview在保持9B级参数规模的同时,展现出较强的跨任务性能。在当前评测设置下,模型在代码生成、办公场景和智能体任务等多个方向上均优于其他模型,并在WorkBuddy Bench、RaccoonPPT Bench和AutomationBench等评测中进一步超过Qwen3.5-27B。这些结果初步展现了通过扩展有效计算深度,提升小参数模型复杂任务处理能力的潜力。

商汤进一步通过消融实验评估了mHC的实际收益。采用该机制后,模型取得明显的性能提升,其中GPQA Diamond和TeamBench分别提高了4.42分和13.34分,展现出在复杂推理任务以及多步骤Agent任务中的应用潜力。后续还将继续探索DSA、自适应迭代次数等机制,以提升模型的推理效率与任务表现。

我们将SenseNova Loop-9B-Preview接入商汤小浣熊客户端,在任务中进行实践,观察模型在多步骤任务中的实际表现。

一个虚构月球任务展示网站,融合太空任务叙事与可操作的控制中心。任务从地球出发,经历近地轨道、地月转移、绕月和着陆四个阶段。

冰岛:光与地貌的旅行:冰川蓝、火山黑与极光(JG)绿,结合地形地图、旅行叙事、自然景观与摄影构图。

持续探索下一代模型架构Loop-9B只是起点。面向下一代SenseNova,商汤将进一步探索Looped Transformer在更大模型规模下的Scaling潜力、自适应“快慢思考”机制,深度挖掘参数共享的更多潜能,以更灵活的计算方式、更高的参数效率,持续突破模型能力与推理效率的边界。

模型权重开源:

Github:

https://github.com/OpenSenseNova/SenseNova-Loop Hugging Face:

https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME