智元×北大联合发布 ViGAR:首个面向全尺寸人形机器人的世界—动作模型

2026-10-23 00:58:11
来源:IT之家
分享
AIME

问财摘要

1、2026年10月,智元联合北京大学DA Group、CocoMatrix团队发布ViGAR(Visual Goal-conditioned Action Reasoning,视觉目标条件动作推理)。它是首个面向全尺寸人形双足机器人的完整世界-动作模型(World-Action Model,WAM),已在真实的全尺寸人形双足机器人A2平台上完成多步骤操作验证。在RoboTwin2.0排行榜仿真评测中,ViGAR发布时曾登顶榜单,截至发稿位列总榜第三(该榜单实时更新),让“全尺寸人形双足机器人能做什么”有了可复现的答案。
免责声明 内容由AI生成
文章提及标的

2026年10月,智元联合北京大学DA Group、CocoMatrix团队发布ViGAR(Visual Goal-conditioned Action Reasoning,视觉目标条件动作推理)。它是首个面向全尺寸人形双足机器人的完整世界-动作模型(World-Action Model,WAM),已在真实的全尺寸人形双足机器人A2平台上完成多步骤操作验证。在RoboTwin2.0排行榜仿真评测中,ViGAR发布时曾登顶榜单,截至发稿位列总榜第三(该榜单实时更新),让“全尺寸人形双足机器人能做什么”有了可复现的答案。一、为什么需要全尺寸人形上的WAM?

当前,世界—动作模型(WAM)研究正在向真实机器人操作拓展,但面向全尺寸人形双足平台、同时公开长时程操作验证与研究资源的工作仍相对有限。如何让模型在真实人形机器人(886069)上组织并执行连续作业,是这一方向值得深入探索的问题。

给文件盖好章再递到人手里,把桌上散落的垃圾一件件收进垃圾桶,从双层蒸笼里逐层取出馒头摆进盘中,这些看似日常的动作,背后涉及多个环环相扣的操作阶段:模型既要完成当前动作,也要根据任务进度决定下一步如何推进。

ViGAR围绕长时程连续作业这一难题,以智元AgiBot A2全尺寸人形双足机器人为平台,开展真实双臂操作验证。二、仿真与真机:双线领先

仿真评测:RoboTwin2.0Clean2Random曾登顶榜单

ViGAR在RoboTwin2.0仿真评测的Clean2Random基准上取得Clean82.00%、Random67.02%的成功率,平均成功率74.51%,超越最强基线12.81个百分点,发布时曾位列榜单第一;该榜单实时更新,截至发稿(2026年10月)位列总榜第三。

RoboTwin是全球主流的端到端操作评测平台之一,堪称考察泛化能力的"硬核考场":所有模型只能用干净场景中的同一份示范数据训练,却要在摆满杂物、背景、光照和桌面高度随机变化的场景中接受50项任务测试,其中包括整理台面、积木排序等多步骤长程任务。榜单上汇聚了π0.5(Physical Intelligence)、Xiaomi Robotics-0(小米)、GigaBrain-0.7(极佳科技)、GalaxeaVLA(星海图)等国内外主流公司和团队的工作。

注:上表为论文所对比方法的排名;RoboTwin2.0官方榜单实时更新,ViGAR发布时曾登顶,截至发稿(2026年10月)总榜排名第三。

在物体位置随机化、布局无法从训练数据中记忆的测试场景下,ViGAR以67.02%的成绩在榜单中名列前茅,50项任务里有13项拿到全榜最高分,多于GigaBrain的11项,PatchWAM、UniWAM的10项,ME-Dex的9项。当任务不再能靠“背答案”完成时,ViGAR凭借其子目标规划能力异军突起。

真机实验采用两条7自由度机械臂、两台腕部相机和一台前置相机;研究团队使用约900小时的同平台遥操作数据进行中期训练,覆盖752项任务、200余种物体和10余种背景,再通过任务示范开展后训练。五项长时程任务各包含3—5个顺序子阶段、各开展20次测试,以“任务进度”衡量完成情况——这一指标记录顺序阶段的完成比例,能够区分机器人仅完成前几步与完成整项任务的表现。

在 AgiBot A2全尺寸人形机器人(886069)上,ViGAR对五个长时序组合任务进行真机评测,平均任务完成进度达到0.69,领先π0.5(0.60)和使用相同数据配方,但无子目标规划的Cosmos3-Nano-Policy(0.54)。

ViGAR在5个任务中的4个取得最高分,平均领先π0.5约9个百分点的进度值。三、核心突破:让WAM学会“先规划,再执行”

与现有WAM路线的根本差异

当前WAM领域存在两条路线:

路线一(主流):直接使用现成的视频生成模型作为世界模型,再外接动作预测模块。论文指出,这类方案缺乏显式的子任务级推理,世界预测和动作能力如何从具身数据中习得的过程被黑箱化。且在长程任务中,容易在子任务与子任务之间丢失进度。

路线二(ViGAR所走):重新设计面向具身操作的分层架构。ViGAR将长时序操作分解为两个模块:子目标规划器和子目标执行器,两者共享一个预训练世界模型表征。

ViGAR的核心思路是“先想清楚下一步要变成什么样,再去执行”。

传统的动作模型“看到什么就做什么”——观测直接映射到动作。而ViGAR的子目标规划器先根据当前画面和语言指令,预测“下一个子任务完成后场景应该是什么样子”(visual subgoal),再由执行器基于这个子目标生成未来画面和动作序列。

这种分解带来了三个关键优势:

1.长时序组合操作的显式推理

一个“从蒸笼取包放到盘子里”的任务包含开盖、夹取、转移、放置等多个子任务。传统WAM试图一步到位生成全程动作,在子任务切换处容易崩溃。ViGAR的规划器逐个子任务生成视觉目标,执行器逐段执行,即使任务包含多个顺序阶段,也能按阶段逐段推进。

2.上下文学习(In-Context Learning):一张目标图就能改变行为

与 Zero-WAM、GEN-1.5等依赖人类示范视频的上下文学习路线不同,只需向ViGAR的子目标规划器提供一张全局目标图片作为上下文,模型就能自行拆解相应的子任务,引导机器人完成训练中从未见过的任务组合。

例如,训练数据中只见过“把2个物品放进盘子”,测试时给出“放3个物品”或“只放1个”的目标图片,ViGAR能够自动分解出新的子任务序列并执行。

在上下文学习评测中,桌面物品收纳任务域内(2个物品)进度0.83、域外(1或3个物品)0.52;水果摆放任务域内0.72、域外0.43。

3.共享世界模型表征,规划与执行互相增益

子目标规划器和执行器共享预训练的世界模型表征(基于Cosmos3-Nano的reasoner-generator骨干网络),意味着物理常识知识在“想”和“做”之间流通——规划器生成的子目标更符合物理可行性,执行器在动作生成时也更能理解“为什么要这样做”。

训练技术创新:子目标监督信号的一致性

子目标前瞻:ViGAR把每个子任务最后一段的画面直接对准下一个子目标来监督,让规划器在当前步骤快完成时就提前看向下一步,避免进入新任务后又回退。

末端执行器ROI加权:ViGAR将专家轨迹中末端执行器的位置投影到相机视角,训练时对操作区域进行重点监督。

消融实验证明,去掉两个技术,使模型的表现下降约12个百分点。

从 RoboTwin2.0仿真评测到A2真机操作,ViGAR给出的答案是一致的:让机器人先想清楚“下一步场景应该是什么样”,再逐段执行,长时程作业就能稳定推进。以视觉子目标规划重构世界-动作模型架构,这套“先规划、再执行”的思路,为全尺寸人形机器人(886069)开展连续作业提供了一个可复现、可验证的范式。

目前,研究团队已公开研究论文、RoboTwin评测代码与模型权重及训练代码与数据;后续计划将ViGAR应用于A3平台,进一步开展模型适配与真实作业验证,并推进约900小时A2真机采集数据的开放。随着代码、模型与数据的持续开放,更多研究者可以在此基础上复现结果、参与改进,而在这条让机器人真正干活的路径上,智元的机器人技能训练平台HERA已经先行一步:采集、训练、部署一体化,非算法背景的操作者也能快速教会机器人一项新技能,让机器人“当天入职”。模型在前沿探索,平台在工程落地,全尺寸人形机器人(886069)从“能行走”走向“能干活”的图景正变得愈发清晰。

开源入口:

技术报告:https://arxiv.org/abs/2610.02368

代码:https://github.com/DAGroup-PKU/ViGAR

权重&数据:https://huggingface.co/DAGroup-PKU/ViGAR

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME