我们正式发布SenseNova Loop-9B。
该模型延续了Preview版本对参数效率的探索:通过Loop结构复用模型层的参数,并结合流形约束超连接(mHC),在约9B参数规模下扩展计算深度,面向复杂推理、代码、工具调用和多模态任务。
模型得益于Loop的高效循环结构,官方4bit量化后权重仅约4.9GB,部署显存需求低至10GB内,能显著拓宽可部署的硬件范围,让低显存芯片获得前沿27B级别模型性能成为可能。
Preview发布以来,我们收到了社区对模型使用、推理部署和生态适配的关注与反馈。此次正式版沿用Loop与双流mHC架构,进一步优化模型在Agent、代码与数据分析任务中的表现,并继续探索循环计算在模型能力提升中的作用。
SenseNova Loop-9B总参数量约为9B。模型通过两次执行共享的中间层,将32个物理解码层扩展为56次层计算;支持文本、图像输入和文本输出,上下文长度最高可达512K tokens。在Agent与数据分析评测中,模型展现出与Qwen3.8-27B相当的竞争力:NL2Repo得分为41.36,接近后者的44.60;AIDABench得分为65.31,高于后者的65.01。
模型亮点
共享循环模块:将第4–27层组成共享权重的循环模块,并执行两次,使模型在一次前向传播中完成56次解码器层计算。
双流mHC:通过可学习映射,对循环模块中的两条残差流进行信息路由与融合。
混合注意力:解码器以四层为一组,采用三层线性注意力与一层全注意力相结合的配置。
长上下文多模态:训练方案覆盖文本、图像、代码和工具调用轨迹,上下文长度最高扩展至512K tokens。
低资源私有化部署友好:采用4bit权重量化与8bit KV缓存时,256K长上下文推理的显存需求约为15G(885556)iB,有助于降低本地与私有化部署门槛。
官方量化版Day0提供:模型发布首日同步提供官方AWQ4bit量化版本,方便用户快速部署。
SenseNova Loop-9B已开放模型权重与相关代码,供开发者和研究者下载、部署与探索。
模型能力:
正式版较Preview进一步提升
我们围绕通用Agent、代码和数据分析等任务,对SenseNova Loop-9B正式版进行评测,并与Preview版本及Qwen3.8-27B等模型进行比较。
评测结果显示,SenseNova Loop-9B正式版在多个榜单上的表现较Preview版本有明显提升;并在约9B参数规模下,展现出与Qwen3.8-27B比肩的性能表现。
模型表现
以下是SenseNova Loop-9B正式版在动态海报、PPT、网站、3D内容创作等实际场景中的表现。(注:下方Showcase均由本模型在Codex/Hermes中,经1–4轮用户交互完成。)
制作《失真频率DISTORTION FM》音乐节
动态海报网页
向上滑动查看完整提示词
Prompt:制作《失真频率DISTORTION FM》音乐节动态海报网页。巨大窄体标题占据画面,酸橙绿、黑、暖白三色;字体挤压、错位、重组,背景文字前移遮挡后揭示新章节。点击三个演出章节切换有节奏的全屏构图,提供循环及暂停。小字号中文演出信息清晰,虚构活动标注概念设计。参考@url:https://tympanus.net/Development/KineticTypePageTransition/的文字转场概念,原创实现。
制作“字形接力TYPE RELAY”的
实验字体展交互网站
向上滑动查看完整提示词
Prompt1:制作一个名为“字形接力TYPE RELAY”的实验字体展交互网站。让文字本身成为页面切换的主角:用户在“形”“声”“意”三个展览章节之间切换时,巨大的汉字与英文字母通过有节奏的移动、尺度变化和重新编排,把上一章自然带入下一章,像一场连续的字体表演。每章有自己的内容、色彩和构图,既有鲜明的实验性,也保留清晰的阅读层级。请自行设计原创视觉语言、转场编排和交互细节,做出可在浏览器实际操作的完整网页。
Prompt2:请按下面这版详细要求继续制作《字形接力》,细化视觉与转场:
制作原创实验字体展网站“字形接力TYPE RELAY”,包含“形、声、意”三个可切换章节。核心体验是一场由巨大文字驱动的整屏转场,具有先锋平面设计和动态字体短片的质感。
每个章节都要有完整且不同的构图:超大中英标题、简短展览文案、具有视觉张力的主图或原创图形,以及精简导航。用鲜明的字号对比、局部出界裁切、不对称布局和准确留白建立层次,具体配色与字体组合由你设计。
点击章节后的转场分三个阶段:
1.当前内容短促退场,章节关键词迅速放大,同一个词形成多行排印,逐渐铺满屏幕。
2.各行文字以错开的时序和不同方向掠过画面,形成有节奏的遮挡;背景色同步接管画面,在遮挡最充分时完成章节切换。
3.字阵继续运动并退出,新章节的主标题、主视觉和说明依次显露,最后稳定在清晰可读的版面。
转场约1.5–2秒,有明确的蓄势、加速和收束,避免匀速滑动。文字的运动轨迹、行距、尺度和前后层次要经过编排,既能感到强烈冲击,也能看出秩序。切换过程中保持画面连续,下一章不要突然闪现。
三个章节共享一套视觉语言,但分别体现结构、节奏和留白的差异。支持前后切换,连续点击时妥善处理动画状态,窗口尺寸变化后仍保持完整构图。直接制作可在浏览器操作的网页。
制作《海岸线以外》摄影杂志式
HTML短篇网页
向上滑动查看完整提示词
Prompt:制作《海岸线以外》摄影杂志式HTML短篇网页。米白与墨黑,巨大衬线字、克制中文说明、真正的高质量海岸照片。开场海景嵌在字缝中,滚动展开为全屏,再连续进入风、礁石、潮汐三个章节;图文之间有精确留白和滚动节奏。参考tympanus.net/Development/ImageExpansionTypography的图文展开关系。可用合法公开图片并保存本地、注明来源;不要用渐变色块冒充摄影。
设计“ORBIT”未来太空探索计划的
交互式网站
向上滑动查看完整提示词
Prompt:请为一个名为“ORBIT”的未来太空探索计划,设计并实现一个完整的交互式网站。
首先,创作一张原创动态SVG插画,作为整个网站的核心视觉资产。插画主体是一颗充满生机的未来星球:球面融合海洋、陆地、山脉和未来城市,一条倾斜的星环环绕星球,周围点缀小型卫星和星星。整体精致、有想象力和科技感,避免幼稚的卡通风格。以深蓝、青蓝和紫色为主,点缀少量珊瑚橙;背景透明,不添加文字。让卫星沿星环缓慢运行、星光轻微闪烁,动态自然克制。
然后,以这张SVG为视觉起点设计网站。请直接复用刚才生成的SVG,而不是重新绘制一张相似的图,让它成为首屏的主视觉,并从中提取配色、星环、轨道等视觉元素,延伸到整个网站。
网站讲述人类探索这颗虚构星球的故事,包含以下内容:
首屏:以星球插画为中心,搭配标题“探索未知,从这里出发”、简短介绍和“开始探索”按钮。鼠标移动时,星球和背景产生轻微视差。
发现星球:介绍星球的环境、地貌和独特之处,通过精致的信息排版和图形表达呈现。
探索任务:展示三项不同的探索任务,每项包含名称、目标和状态,并有可点击查看的详细介绍。
加入计划:介绍用户可以如何参与,提供明确的行动按钮和完整的页面反馈。
导航栏支持跳转到各个区域,“开始探索”按钮可平滑滚动到正文。整体适配电脑和手机,动画流畅,文字真实完整,不要使用空泛的占位内容。
请实现为一个可以直接打开、浏览和交互的完整网站,同时保留SVG源文件。最终呈现时,既能单独查看这张SVG,也能看到它在网站中的实际应用,让人直观感受到同一个视觉资产是如何融入完整作品的。
使用Three.js制作一个可旋转观察的
精细3D立体沙盘
向上滑动查看完整提示词
Prompt:使用Three.js制作一座藏在高山云隙中的仙家集市,呈现可旋转观察的精细立体沙盘。集市依山而建,以两段宽阔青石阶和中间休息平台作为主要动线,整体从前方低处逐级升向后方山壁。下层两侧分别安排药铺和茶食摊,上层安排修剑铺、收信棚及小仓房;四五间店铺高低错落,门面朝向石阶,屋后留出窄通道,并以一座短桥连接独立的小仓房。主路足够两人错身,摊位、货箱和檐柱不要堵住入口或台阶。街口另有一小块岩台,短短一段阶桥跨越云隙接入集市。桥两端落在实心石座上,有可见的梁或拱形支承和两侧绳栏;临崖货架用绳索固定到岩台木桩。房屋都坐在平整台基上,灰瓦屋顶有清楚的坡面、屋脊和檐口,深色木架、旧白墙及布棚保留适度磨损。药铺陈列药罐和草药束,茶摊有碗盏与蒸笼,修剑铺有剑架和小工作台,收信棚摆放信筒及包裹。以草药、茶碗和飞剑图案木牌区分店铺,竹篮、石灯和几株岩缝松树点缀街边。几只折纸载货鸟沿屋檐外侧缓慢飞行,翅膀轻摆,抵达上层收货棚后短暂停留并放下包裹,再沿另一条路线离开;运动避开屋顶、山壁和行走通道。云雾低低穿过桥下与岩台底部,保留石阶和支承的可见性。采用清晨柔和天光,檐下少量暖灯增加生活气息。默认斜俯视同时看清街口、两层店铺和后山,支持旋转与缩放。
模型结构
SenseNova Loop-9B以32层多模态解码器为基础,将共享权重的循环计算、混合注意力和双流流形约束超连接(mHC)结合在一起。模型通过复用中间层参数扩展计算深度,支持文本与图像输入、文本输出,并支持最长512K token的上下文。
模型规格
项目 | SenseNova-Loop-9B |
|---|---|
架构 | 自回归多模态解码器;循环模块采用双流mHC |
参数规模 | 总共约9B参数,推理等效参数规模约14.6B |
输入/输出 | 文本和图像/文本 |
独立解码器层数 | 32 |
循环层范围/执行次数 | [4,28)/2次,共享权重 |
解码器层执行次数 | 每次前向传播执行56次 |
mHC残差流数量 | 2 |
上下文长度 | 512K tokens |
权重精度 | 主干为BF16;mHC路由参数为FP32 |
循环解码器
输入首先经过第0–3层,随后依次通过同一组第4–27层两次,最后由第28–31层和输出头生成模型输出。若用B表示循环模块、h表示其输入,则循环计算可写为B(B(h))。
推理时,模型每次前向传播完成56次解码器层计算,只需存储32层解码器权重。循环模块在两次执行中复用同一组权重,第二次执行以第一次的输出作为输入。
混合注意力
解码器交替使用线性注意力层与全注意力层。每四层为一组,依次包含三层线性注意力和一层全注意力。循环模块的边界与完整的四层组对齐,因此两次执行都保持相同的注意力排列。
双流mHC
在循环模块中,mHC使用两条残差流传递解码器层计算前后的信息。可学习映射决定各层如何读取残差流、混合流间信息,以及将层输出写入残差状态。流间混合映射采用Sinkhorn归一化进行约束;模型配置使用20次迭代。
可以将两条残差流理解为并行传递的两组隐藏状态:每个循环层先从残差流读取信息,执行注意力或前馈计算,再把结果写回。流间混合矩阵通过反复进行行、列归一化,约束信息在两条流之间的混合;这20次归一化迭代属于mHC内部计算,与循环模块执行两遍是不同的步骤。
循环层范围、执行次数和mHC路由参数共同构成模型检查点的执行配置。兼容的推理实现需要加载这些参数,并保持相同的计算顺序。
配置 | 数值 |
|---|---|
独立解码器层数/执行次数 | 32/56 |
循环层范围/执行次数 | [4,28)/2 |
隐藏层维度 | 4,096 |
前馈网络维度 | 12,288 |
词表大小 | 248,320 |
全注意力头数/KV头数 | 16/4 |
mHC残差流数量/Sinkhorn迭代次数 | 2 /20 |
Loop Scaling:探索循环计算的收益
Looped Transformer展现出良好的性能扩展潜力,为模型能力提升提供了循环计算这一新的探索维度。以原版9B模型(即图中对应标准单次前向计算的Loop1)为基准,我们在保持训练数据等配置一致的条件下,探索了循环计算的Scaling效果。实验结果表明,随着训练与推理循环次数的同步增加,模型在四项核心任务上的表现均呈现出上升趋势。具体而言,AIDAbench-QA和Workbuddy-office任务在3次循环时表现最佳,较9B基准分别提升了6.42%和16.93%;而在LiveCodeBench V6和AIDAbench-data_visualization任务中,4次循环则进一步推高了模型表现,分别实现了8.10%和8.55%的性能增长。
综合考虑实际应用中的推理效率,我们当前的Preview和正式版模型均默认采用2次循环。然而,深层循环所带来的性能增益依然客观存在。以代码生成(LiveCodeBench V6)和数据可视化(AIDAbench-data_visualization)这两项较为复杂的任务为例,若将循环次数从当前的2次增加至4次,模型得分仍能分别获得1.04和1.35个百分点的提升。这一结果印证了Loop Scaling的有效性,也表明当前的1到4次实验只是一个起点,更高循环深度所蕴含的能力空间仍值得进一步挖掘。
此外,上述实验结果也直观地反映出,不同类型任务对循环深度的需求存在显著差异。基于这一观察,在后续的研究中,我们不仅会继续探索更高循环深度的能力边界,还将重点研究动态循环(Dynamic Loop)架构。该架构旨在让模型能够根据输入任务的复杂程度,自适应地匹配最优的循环次数,从而在确保复杂任务获得充分算力的同时,兼顾整体的推理效率。
低显存硬件部署友好
得益于Loop的循环共享结构,模型仅需约9B独立参数,4bit量化后权重体积仅约4.9GB,显著降低本地与私有化部署的硬件需求门槛。结合8比特或4比特KV缓存,可进一步降低长上下文推理的显存需求,不同kv量化粒度下,模型部署最低显存需求如下表所示:
上下文长度 | 8bit kv | 4bit kv |
64K | 约 10GiB | 约 9GiB |
128K | 约 12GiB | 约 10GiB |
256K | 约 15G(885556)iB | 约 12GiB |
当前不足与持续改进
尽管Loop Transformer架构已经展现出很大的潜力,但是受限于模型体量和迭代时间,SenseNova Loop-9B在以下方面仍有改进空间:
面对较多、较复杂的工具定义或多重条件约束时,模型仍可能出现理解与执行偏差,影响任务表现。
代码能力虽较Preview明显提升,已具备较好的可用性,但在代码和通用Agent任务中表现稳定性还存在不足,但是模型可以通过更多步骤修正自己的错误。整体而言,处理复杂长程任务的能力还需要持续打磨。
包含复杂3D场景和丰富动态元素的高质量网页,未必能单轮完成,部分案例需要结合用户反馈,经过2–3轮修复才能达到较好的效果。
我们将持续补强上述局限,并计划在未来把Loop架构应用于更大规模的模型,争取以更高频的模型更新回应真实使用中的需求,也欢迎社区分享使用反馈、问题案例与改进建议。
快速开始:使用SenseNova Loop-9B
模型权重与相关代码现已开放。开发者可通过Hugging Face模型仓库或本地模型目录加载模型。
Hugging Face仓库:
https://huggingface.co/collections/sensenova/sensenova-loop
下方示例展示了单张GPU上的文本生成,以及使用推理引擎启动服务的方法。
环境要求
Preview版本已验证的环境为Transformers5.18.0、PyTorch2.11.0和CUDA13.0。模型目录需要包含配置、分词器、对话模板、自定义模型代码和全部权重分片。
请先安装与CUDA环境兼容的PyTorch,再安装其余依赖:
python-m pip install"transformers==5.18.0"accelerate safetensors
使用Transformers生成文本
将 model_id替换为正式版模型目录或模型仓库ID,然后运行以下代码:
import torchfrom transformers import AutoModelForCausalLM,AutoTokenizermodel_id="/path/to/SenseNova-Loop-9B"device="cuda:0"tokenizer=AutoTokenizer.from_pretrained(model_id,trust_remote_code=True)model=AutoModelForCausalLM.from_pretrained(model_id,trust_remote_code=True,dtype=torch.bfloat16,device_map={"":device},).eval()messages=[{"role":"user","content":"13乘以7等于多少?"}]prompt=tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True,enable_thinking=True,)inputs=tokenizer(prompt,return_tensors="pt").to(device)with torch.inference_mode():outputs=model.generate(**inputs,max_new_tokens=512,do_sample=False,use_cache=True,)response=tokenizer.decode(outputs[0,inputs.input_ids.shape[1]:],skip_special_tokens=True,)print(response)
示例默认开启思考模式,使用贪心解码,最多生成512个新token。将enable_thinking设置为False可关闭思考模式;修改device可指定使用的GPU。trust_remote_code=True用于加载SenseNova-Loop的自定义模型实现。
模型部署
以下命令参考Preview的部署示例,使用时请将模型路径替换为正式版权重目录;正式版对应的引擎版本与配置随发布更新。
LightLLM
以下为使用四张GPU进行部署的示例:
docker pull ghcr.io/modeltc/lightllm:maindocker run--rm--gpus all--ipc=host-p8000:8000\-v/path/to/SenseNova-Loop-9B:/model\-e LOADWORKER=4-e LIGHTLLM_TRITON_AUTOTUNE_LEVEL=1\ghcr.io/modeltc/lightllm:main\python-m lightllm.server.api_server\--model_dir/model--model_name SenseNova-Loop-9B\--tp4--host0.0.0.0--port8000
服务启动后,可通过OpenAI兼容接口发送请求:
curl http://localhost:8000/v1/chat/completions\-H'Content-Type:application/json'\-d'{"model":"SenseNova-Loop-9B","messages":[{"role":"user","content":"Hello!"}],"max_tokens":128}'
SGLang
请使用包含SenseNova Loop实现的SGLang PR#47281对应版本,并替换模型路径:
git clone https://github.com/sgl-project/sglang.gitcd sglanggit fetch origin pull/47281/headgit checkout-b sensenova-loop FETCH_HEADpython-m pip install-e./pythonsglang serve--model-path/path/to/SenseNova-Loop-9B vLLM
请使用包含SenseNova Loop实现的vLLM PR#64832对应版本,并替换模型路径:
git clone https://github.com/vllm-project/vllm.gitcd vllmgit fetch origin pull/64832/headgit checkout-b sensenova-loop FETCH_HEADpython-m pip install-e.vllm serve/path/to/SenseNova-Loop-9B\--served-model-name sensenova_loop\--tensor-parallel-size4\--dtype bfloat16
模型权重和代码开源
Github:
https://github.com/OpenSenseNova/SenseNova-Loop Hugging Face:
https://huggingface.co/collections/sensenova/sensenova-loop
