2026年10月,智元联合北京大学DA Group、CocoMatrix团队发布ViGAR(Visual Goal-conditioned Action Reasoning,视觉目标条件动作推理)。它是首个面向全尺寸人形双足机器人的完整世界-动作模型(World-Action Model,WAM),已在真实的全尺寸人形双足机器人A2平台上完成多步骤操作验证。在RoboTwin2.0排行榜仿真评测中,ViGAR发布时曾登顶榜单,截至发稿位列总榜第三(该榜单实时更新),让“全尺寸人形双足机器人能做什么”有了可复现的答案。一、为什么需要全尺寸人形上的WAM?
当前,世界—动作模型(WAM)研究正在向真实机器人操作拓展,但面向全尺寸人形双足平台、同时公开长时程操作验证与研究资源的工作仍相对有限。如何让模型在真实人形机器人(886069)上组织并执行连续作业,是这一方向值得深入探索的问题。
给文件盖好章再递到人手里,把桌上散落的垃圾一件件收进垃圾桶,从双层蒸笼里逐层取出馒头摆进盘中,这些看似日常的动作,背后涉及多个环环相扣的操作阶段:模型既要完成当前动作,也要根据任务进度决定下一步如何推进。
ViGAR围绕长时程连续作业这一难题,以智元AgiBot A2全尺寸人形双足机器人为平台,开展真实双臂操作验证。二、仿真与真机:双线领先
仿真评测:RoboTwin2.0Clean2Random曾登顶榜单
ViGAR在RoboTwin2.0仿真评测的Clean2Random基准上取得Clean82.00%、Random67.02%的成功率,平均成功率74.51%,超越最强基线12.81个百分点,发布时曾位列榜单第一;该榜单实时更新,截至发稿(2026年10月)位列总榜第三。
RoboTwin是全球主流的端到端操作评测平台之一,堪称考察泛化能力的"硬核考场":所有模型只能用干净场景中的同一份示范数据训练,却要在摆满杂物、背景、光照和桌面高度随机变化的场景中接受50项任务测试,其中包括整理台面、积木排序等多步骤长程任务。榜单上汇聚了π0.5(Physical Intelligence)、Xiaomi Robotics-0(小米)、GigaBrain-0.7(极佳科技)、GalaxeaVLA(星海图)等国内外主流公司和团队的工作。
注:上表为论文所对比方法的排名;RoboTwin2.0官方榜单实时更新,ViGAR发布时曾登顶,截至发稿(2026年10月)总榜排名第三。
在物体位置随机化、布局无法从训练数据中记忆的测试场景下,ViGAR以67.02%的成绩在榜单中名列前茅,50项任务里有13项拿到全榜最高分,多于GigaBrain的11项,PatchWAM、UniWAM的10项,ME-Dex的9项。当任务不再能靠“背答案”完成时,ViGAR凭借其子目标规划能力异军突起。
真机实验采用两条7自由度机械臂、两台腕部相机和一台前置相机;研究团队使用约900小时的同平台遥操作数据进行中期训练,覆盖752项任务、200余种物体和10余种背景,再通过任务示范开展后训练。五项长时程任务各包含3—5个顺序子阶段、各开展20次测试,以“任务进度”衡量完成情况——这一指标记录顺序阶段的完成比例,能够区分机器人仅完成前几步与完成整项任务的表现。
在 AgiBot A2全尺寸人形机器人(886069)上,ViGAR对五个长时序组合任务进行真机评测,平均任务完成进度达到0.69,领先π0.5(0.60)和使用相同数据配方,但无子目标规划的Cosmos3-Nano-Policy(0.54)。
ViGAR在5个任务中的4个取得最高分,平均领先π0.5约9个百分点的进度值。三、核心突破:让WAM学会“先规划,再执行”
与现有WAM路线的根本差异
当前WAM领域存在两条路线:
路线一(主流):直接使用现成的视频生成模型作为世界模型,再外接动作预测模块。论文指出,这类方案缺乏显式的子任务级推理,世界预测和动作能力如何从具身数据中习得的过程被黑箱化。且在长程任务中,容易在子任务与子任务之间丢失进度。
路线二(ViGAR所走):重新设计面向具身操作的分层架构。ViGAR将长时序操作分解为两个模块:子目标规划器和子目标执行器,两者共享一个预训练世界模型表征。
ViGAR的核心思路是“先想清楚下一步要变成什么样,再去执行”。
传统的动作模型“看到什么就做什么”——观测直接映射到动作。而ViGAR的子目标规划器先根据当前画面和语言指令,预测“下一个子任务完成后场景应该是什么样子”(visual subgoal),再由执行器基于这个子目标生成未来画面和动作序列。
这种分解带来了三个关键优势:
1.长时序组合操作的显式推理
一个“从蒸笼取包放到盘子里”的任务包含开盖、夹取、转移、放置等多个子任务。传统WAM试图一步到位生成全程动作,在子任务切换处容易崩溃。ViGAR的规划器逐个子任务生成视觉目标,执行器逐段执行,即使任务包含多个顺序阶段,也能按阶段逐段推进。
2.上下文学习(In-Context Learning):一张目标图就能改变行为
与 Zero-WAM、GEN-1.5等依赖人类示范视频的上下文学习路线不同,只需向ViGAR的子目标规划器提供一张全局目标图片作为上下文,模型就能自行拆解相应的子任务,引导机器人完成训练中从未见过的任务组合。
例如,训练数据中只见过“把2个物品放进盘子”,测试时给出“放3个物品”或“只放1个”的目标图片,ViGAR能够自动分解出新的子任务序列并执行。
在上下文学习评测中,桌面物品收纳任务域内(2个物品)进度0.83、域外(1或3个物品)0.52;水果摆放任务域内0.72、域外0.43。
3.共享世界模型表征,规划与执行互相增益
子目标规划器和执行器共享预训练的世界模型表征(基于Cosmos3-Nano的reasoner-generator骨干网络),意味着物理常识知识在“想”和“做”之间流通——规划器生成的子目标更符合物理可行性,执行器在动作生成时也更能理解“为什么要这样做”。
训练技术创新:子目标监督信号的一致性
子目标前瞻:ViGAR把每个子任务最后一段的画面直接对准下一个子目标来监督,让规划器在当前步骤快完成时就提前看向下一步,避免进入新任务后又回退。
末端执行器ROI加权:ViGAR将专家轨迹中末端执行器的位置投影到相机视角,训练时对操作区域进行重点监督。
消融实验证明,去掉两个技术,使模型的表现下降约12个百分点。
从 RoboTwin2.0仿真评测到A2真机操作,ViGAR给出的答案是一致的:让机器人先想清楚“下一步场景应该是什么样”,再逐段执行,长时程作业就能稳定推进。以视觉子目标规划重构世界-动作模型架构,这套“先规划、再执行”的思路,为全尺寸人形机器人(886069)开展连续作业提供了一个可复现、可验证的范式。
目前,研究团队已公开研究论文、RoboTwin评测代码与模型权重及训练代码与数据;后续计划将ViGAR应用于A3平台,进一步开展模型适配与真实作业验证,并推进约900小时A2真机采集数据的开放。随着代码、模型与数据的持续开放,更多研究者可以在此基础上复现结果、参与改进,而在这条让机器人真正干活的路径上,智元的机器人技能训练平台HERA已经先行一步:采集、训练、部署一体化,非算法背景的操作者也能快速教会机器人一项新技能,让机器人“当天入职”。模型在前沿探索,平台在工程落地,全尺寸人形机器人(886069)从“能行走”走向“能干活”的图景正变得愈发清晰。
开源入口:
技术报告:https://arxiv.org/abs/2610.02368
代码:https://github.com/DAGroup-PKU/ViGAR
权重&数据:https://huggingface.co/DAGroup-PKU/ViGAR
