Skip to content
←返回论文库

PAPER DEEP DIVE

人形机器人跨本体世界模型

MorphMimic:面向多款人形机器人的形态条件世界模型与策略共享

提出形态条件世界模型与共享策略,让 G1、X2 Ultra 和 T2 从共同动作空间与 12.9 万段动作中联合学习,并把统一控制器部署到真实 G1。

论文:MorphMimic: Morphology-Conditioned World Model and Policy Sharing Across Humanoids
作者:Lizhi Yang、Fengze Xie、Yuyang Wang、Lu Gan、Yisong Yue、Aaron D. Ames
机构:加州理工学院(Caltech)与佐治亚理工学院(Georgia Institute of Technology)
版本:技术报告草稿,2026 年 10 月 25 日,共 9 页
原文:https://lzyang2000.github.io/morphmimic/static/morphmimic.pdf
项目页:https://lzyang2000.github.io/morphmimic/
代码状态:项目页链接到 GitHub 仓库,但仓库自述为社区开发者依据论文独立实现 SuperMimic / MorphMimic 思路的版本,并非作者训练实验所用的原始代码库。本文把论文和官方项目页作为方法事实来源,不把该独立实现视作可直接复现论文结果的官方代码。

一句话总结

MorphMimic 用一个统一世界模型、一个共享跟踪策略和同一套五点接口控制 G1、X2 Ultra 与 T2,在 12.8 万余段共同动作剪辑上把统一模型与单机专家的平均回报差压到 0.02 以内,并在真实 G1 上完成舞蹈、行走与遥操作。

1. 研究背景:机器人外形相似,动力学并不相同

全身动作跟踪是人形机器人执行舞蹈、行走、遥操作和动作重定向的基础接口。给定一段人体参考动作以及由逆运动学得到的机器人关节轨迹,策略在每一个控制周期输出关节位置目标,使机器人尽可能跟随未来若干帧的关节、骨盆高度、躯干朝向和接触节奏。对单一机器人而言,SuperMimic 一类方法已经证明:学习一个可微的世界模型,让策略在短时想象 rollout 中接受任务回报训练,是一条可行路线。

问题出现在平台数量增加之后。Unitree G1、AgiBot X2 Ultra 和 Booster T2 的关节命名、旋转轴方向、中立姿态、连杆长度、质量分布、PD 增益和力矩上限各不相同。两家厂商都使用“29 个受控关节”并不意味着同一个动作向量具有相同语义;即使显式对齐关节编号,同样的位置增量也会因增益和执行器能力不同而产生不同加速度。传统做法需要为每台机器人重新采集数据、训练世界模型和策略,动作库与调参经验难以复用。

本文追求的并不是只共享一个高层的动作分类器,也不是把仿真中的状态直接输入一个大网络后期待网络自行消除差异。它要让低层连续控制策略本身共享权重:相同参考动作在三种机器人上经过各自规范化和动作映射,进入共享的编码器、世界模型与解码器。机器人形态、执行器参数以及少量传感差异作为条件输入,被显式送入动力学预测和策略网络。

这一选择带来两个相互耦合的难点。第一,世界模型必须同时预测三种动力学,并用同一个可微 rollout 为共享策略产生有用梯度;如果模型在某一台机器人上失准,策略更新也会沿着错误的想象轨迹漂移。第二,动作表征必须跨机器人对应。论文通过规范关节布局、共同跟踪目标、形态条件描述子和对应帧潜变量对齐来处理这两个问题,而不是仅依赖网络容量记忆三套独立系统。

实验还刻意区分“训练集内跨形态”与“单机策略零样本迁移”。前者把三台机器人都放进训练,检验共享架构能否在相似性能下减少重复工程;后者不重新训练,检验现有表示是否真的理解陌生执行器和传感布局。这个区分很重要,因为 99.9% 的仿真存活率不能自动证明对未见机器人也具备泛化能力。

2. 问题定义:以共同目标替代逐机器人目标

记机器人集合为 B={G1, X2, T2},机器人 b 的状态为 stb,规范动作向量 at 包含 29 个关节的位置增量,仿真转移定义为 st+1b∼Pb(·|stb,at)。控制频率为 50 Hz。参考动作提供目标状态与由 K=10 帧未来目标构成的目标 gtb,策略读取最近 K 帧本体感知 ot-K+1:tb。

作者没有合并三台机器人的回报尺度,而是先对各机器人分别计算折扣回报,再在机器人集合上等权平均:

$$J(\theta)=\frac{1}{|\mathcal B|}\sum_{b\in\mathcal B}\mathbb{E}\left[\sum_{t=0}^{T_b-1}\gamma^t r_{t+1}^b\right]$$

等权平均意味着训练目标由“机器人”而不是“仿真样本数”决定。三个训练进程使用相同环境数时两种口径没有差异,但它清楚表达了跨形态目标:每台物理平台都应获得同等话语权,不能因为片段更多或回合更长就让某一平台主导共享参数。各机器人仍然拥有独立重放缓冲区、动作归一化、参考动作库和重置采样器。

跟踪目标采用位置无关表示。当前参考帧加未来九帧共十帧,每帧包含规范关节位置、速度以及躯干锚点的位置和六维朝向,形成 670 维完整动作目标。锚点位置以参考骨盆水平位置为零点、以首帧朝向前向为坐标系,并保留绝对高度;朝向相对于机器人当前躯干,因此目标包含偏航反馈。策略不直接读取机器人世界坐标,部署时只需要参考目标、关节编码器、IMU 角速度与姿态估计。

评价采用两个量。生存率是完整跑完整段参考、没有因高度或倾角误差提前终止的片段比例;归一化回报把有效折扣回报除以理论最大折扣回报,完美跟踪且无惩罚时接近一。由于分母覆盖整段剪辑,提前终止的片段即使前几帧很好,最终回报也会很低。论文在 128,786 段三平台共同裁剪版本上各运行一次确定性策略,使用名义仿真参数与干净观测。

3. 共同机器人表示:先统一语义,再保留物理差异

规范布局把关节按运动学功能排成共同槽位。对规范关节 j,设机器人 b 中对应原关节编号为 pb(j),方向符号为 εb,j∈{−1,1},零位偏移为 δb,j,则原生位置映射为:

$$q_j^c=\epsilon_{b,j}q_{p_b(j)}^b-\delta_{b,j}$$

速度和其他关节差分只经过编号置换与符号翻转,不再减零位偏移。这样可以把命名、正方向和初始姿态统一到同一组 29 个槽位中。规范映射不是动力学模型,它只消除表达层面的差异;剩余传动、摩擦、惯量和几何区别仍由后续网络学习。

动作也不是直接输出原生关节角,而是从默认姿态出发、按执行器能力缩放的位移。正文用 αb,j=κaτb,jmax/kp,b,j 表示比例位移尺度,原生位置目标为:

$$q_{p_b(j),t}^{\mathrm{target}}=q_{p_b(j)}^{b,\mathrm{default}}+\epsilon_{b,j}\alpha_{b,j}a_{t,j}$$

因此单位动作在该关节状态上产生的比例力矩,约等于力矩上限的固定比例 κa=0.25。不同机器人执行器强弱不同,但同一动作数值的含义被拉回相近的相对努力尺度。这个设计不能消除饱和和延迟,却避免了让网络为“G1 的 0.1 与 T2 的 0.1 在力矩上差多少”重新学习一个常量。

共同状态还包含 14 个跟踪体:骨盆、每条腿三个、躯干、每条手臂三个。状态被变换到骨盆水平位置为零、保留完整骨盆朝向的局部坐标系,包括规范关节、速度、各跟踪体位置与朝向。另有一个 33 维环境上下文,编码足底摩擦、关节编码器偏置和质心偏移。它们属于每台机器人自己的归一化统计或训练条件,不参与共享参数平均。

形态描述子将四组 29 维执行器参数和九项几何质量参数拼接并缩放到约 [−1,1]:

$$m_b=\mathcal S\left([\log\alpha_b,\log k_{p,b},\log k_{d,b},\log\tau_b^{\max},\eta_b]\right)$$

ηb 包含大腿、小腿、上臂、前臂长度、髋宽、躯干高度、总质量、腿子树质量和臂子树质量。四组执行器块共 116 维,加九项几何质量参数得到 125 维描述子。它同时进入世界模型、策略解码器、评价器以及五点编码器的解码路径。对于常量特征,缩放后映射为零,避免绝对尺度被无意义地放大。

4. 共享世界模型:在同一残差空间中预测三种动力学

世界模型沿用 SuperMimic 的短水平自回归拟合。每个机器人有独立重放缓冲区,但动力学网络权重共享。网络在当前骨盆局部坐标系 Ft 中预测一步状态残差,而不是直接回归绝对世界坐标。输入包括机器人特定统计归一化后的状态、重力与高度特征、动作、上下文和形态描述:

$$x_t^b=[N_s^b(u_t),e_t^b,a_t,\mathcal S_\xi\xi^b,m_b]$$

其中 ut=ΦFt(st) 是局部状态,etb 包含局部重力和跟踪体高度。根据附录常数,根帧动力学输入为 472 维:268 个局部状态特征、17 个重力高度值、29 个动作、33 个上下文以及 125 个形态值。下一步预测为:

$$\hat s_{t+1}^b=\Phi_{F_t}^{-1}\left(u_t+\sigma_{\Delta,b}\odot f_\omega(x_t^b)\right)$$

σΔ,b 是各机器人在预热阶段的一步残差均方根,用于把不同尺度的预测误差拉回同一量级。输出层零初始化,因此训练开始时模型预测状态不变。这个细节降低早期共享模型在陌生机器人上产生爆炸残差的风险。模型拟合比较局部坐标中的预测与记录状态,用 σΔ,b 归一化均方误差,并在同一窗口上训练终止头。

终止预测的物理含义比一个黑箱分类器更清楚。高度误差 ez 和倾角误差 eu 分别经过带学习增益和偏置的 S 型风险:

$$p_z=\sigma(k_z(e_z-\bar e_z)+b_z),\qquad p_u=\sigma(k_u(e_u-\bar e_u)+b_u),\qquad \hat d=1-(1-p_z)(1-p_u)$$

任意一种风险出现都可能导致终止,因此两个独立 hazard 通过互补概率合成。共享模型仍使用各机器人局部统计、残差尺度和跟踪体定义,所以“共享世界模型”准确含义是共享预测网络与公共接口,不是把三套仿真器当成完全相同的马尔可夫系统。论文的几种共享配置也一直保留机器人专属缓冲区、归一化器和动作映射。

5. 策略与形态调制:一个解码器如何控制不同身体

完整动作接口先由共享运动编码器把十帧目标压成 32 维潜变量,再由共享解码器结合最近十帧本体感知和 125 维形态描述输出 29 维规范动作:

$$z_t^b=E(N_g^b(g_t^b)),\qquad a_t=D(z_t^b,N_o^b(o_{t-K+1:t}^b),m_b)$$

编码器只读参考目标,因此潜变量表示“想做什么动作”;解码器同时读本体感知和形态,表示“在当前机器人上如何执行”。这和同时把目标、状态和硬件塞进一个不可分表示不同:对齐发生在命令潜变量层,执行差异留给解码器。评价器也接收形态与参考锚点位置,但锚点位置只用于训练,不进入部署策略。

除了简单拼接形态向量,解码器隐藏层还使用 FiLM 调制。设第 l 层原激活为 hl,学习矩阵 Γl、Bl 与偏置 μl、νl,则:

$$\tilde h_l=h_l\odot(1+\Gamma_lm_b+\mu_l)+B_lm_b+\nu_l$$

调制参数零初始化,使训练从普通拼接解码器开始,再逐渐学习缩放与偏置。乘性通道允许形态改变不同特征通道的敏感度,加性项则提供与状态无关的硬件偏置。这比只增加输入维度更适合表达“同一潜在命令在短腿和长腿上应产生不同关节轨迹”这类交互。

策略训练通过冻结世界模型和评价器的 32 步想象 rollout 进行。每一步奖励根据预测状态与参考动作计算,目标又随预测状态滚动更新;到达参考终点造成的超时保留 bootstrap。共享梯度先在三台机器人进程之间平均,再统一裁剪和 Adam 更新。这样不会因某一机器人的梯度范数更大就压过另外两台。

模型对齐让相同动作片段在不同机器人上的潜变量靠近。每轮从各机器人动作子集的交集中抽取相同的 1,024 个剪辑—帧对,分别编码后计算跨机器人均值 z̄i:

$$\mathcal L_{\mathrm{align}}=\frac1{N_a}\sum_{i=1}^{N_a}\frac{\lVert z_i^b-\operatorname{sg}(\bar z_i)\rVert_2^2}{2}$$

停止梯度算子 sg 阻止每台机器人通过均值去“推”另外两台机器人的目标,每台只通过自己的编码输出回传。总运动策略损失为负想象回报加 βa=0.05 的对齐项。该约束只要求对应帧具有共同潜变量,不要求不同机器人的完整状态或动作相同。一个额外好处是,潜变量可成为稀疏五点接口要匹配的共同中间坐标。

6. 五点接口:让同一解码器接受稀疏人体控制

五个点分别是骨盆、左右踝和左右腕,对应规范体槽 0、3、6、10、13。每帧每个点有三维位置和六维朝向,十帧共 450 维;再加五位点可见掩码和十位帧掩码,输入为 465 维。五点目标位置处于机器人自身物理尺度,高度为绝对参考高度,水平位置独立于机器人当前位置;朝向相对于机器人当前骨盆旋转,提供横滚、俯仰和偏航反馈。

训练时,目标先经过运行归一化,再遮蔽不可见帧点块并附加掩码。单独训练的五点编码器输出 32 维 tanh 潜变量,随后复用完整动作接口的形态条件解码器:

$$z_t^{b,kp}=E_{\mathrm{kp}}(\tilde g_t^{b,kp}),\qquad a_t=D(z_t^{b,kp},N_o^b(o_{t-K+1:t}^b),m_b)$$

这套接口没有另起一个机器人专属动作头。其关键是让五点潜变量学会匹配同一机器人由完整动作编码器产生的潜变量。对有效想象 rollout 步集合 Ib,五点损失为:

$$\mathcal L_{\mathrm{kp}}^b=-\hat J_{\mathrm{kp}}^b+\beta_{\mathrm{kp}}\frac1{|\mathcal I_b|}\sum_{(i,t)\in\mathcal I_b}\frac{\lVert z_{i,t}^{b,\mathrm{kp}}-\operatorname{sg}(z_{i,t}^{b,\mathrm{motion}})\rVert_2^2}{2}$$

这里 βkp=0.1。五项编码器只在本轮额外更新中训练,梯度穿过冻结的解码器、世界模型与评价器,但不更新它们。为了让编码器见到不完美输入,训练时对位置和朝向加入有界抖动:水平 ±0.05 m、垂直 ±0.01 m、横滚俯仰 ±0.1 rad、偏航 ±0.2 rad。奖励、终止、评价器目标和最终评测仍使用干净参考。

在数据采集端,50% 环境由五点接口控制,其余由完整动作接口控制,二者数据进入同一重放缓冲区,因此五点接口不仅学习模仿已有潜变量,也会改变后续世界模型训练数据。论文把这种设计视为多接口共享执行器,而不是两个完全独立的控制器。这个细节在工程上重要:如果五点数据完全不进入世界模型训练,部署时稀疏命令造成的状态分布会逐渐偏离完整动作数据。

模块输入与输出是否跨机器人共享机器人专属部分
完整动作编码器670 维、十帧目标 → 32 维潜变量是目标归一化统计
五点编码器465 维、五点十帧目标 → 32 维潜变量是运行归一化统计
形态条件解码器潜变量、十帧观测、125 维形态 → 29 维动作是,含 FiLM观测归一化、默认姿态与动作映射
世界模型472 维根帧特征 → 下一步局部残差与终止风险是重放缓冲区、残差尺度与状态统计
评价器预测状态、参考锚点、上下文和形态统一配置中共享各接口独立评价器头或配置

表中“共享”并非一个 checkpoint 拿到任何机器人上即可直接执行。共享权重之外,脚本仍需加载对应机器人的归一化、默认姿态、软关节限位、动作映射与传感定义。作者也明确说,新的机器人只要符合共同布局,就需要提供关节映射、形态描述子和重定向动作。因此它降低的是训练和策略复用成本,而不是部署配置成本。

7. 训练系统:三条机器人流如何合成一次更新

flowchart LR
    A[G1 仿真器与重定向动作库] --> D[各自重放缓冲区]
    B[X2 Ultra 仿真器与动作库] --> E[各自重放缓冲区]
    C[T2 仿真器与动作库] --> F[各自重放缓冲区]
    D --> G[共享世界模型拟合]
    E --> G
    F --> G
    G --> H[32 步想象 rollout]
    H --> I[完整动作编码器与共享解码器]
    I --> J[同帧潜变量均值对齐]
    H --> K[五点编码器匹配本机完整动作潜变量]
    J --> L[三机梯度等权平均]
    K --> L
    L --> M[统一裁剪与 Adam 更新]
    M --> N[机器人专属采集与评测]

每台机器人拥有独立仿真进程、动作库、重放缓冲区与重置采样器。训练一轮先采集转移并拟合共享世界模型,再更新运动编码器和解码器并拟合运动评价器,最后用新想象起点更新五点编码器和五点评价器。世界模型拟合水平为 8 步,策略想象水平为 32 步,每台机器人 4,096 个环境,共训练 40,000 次迭代。执行器延迟在 0–40 ms 内随机化,以增加对真实控制链路的鲁棒性。

所有动作来自 BONES-SEED 人体动作数据。G1 使用数据集提供的重定向轨迹,X2 与 T2 通过 NVIDIA SOMA Retargeter 从同一批源动作生成参考,再转成 50 Hz 状态并施加软关节限位。共同评测只使用三套动作库裁剪后的 128,786 段版本,保证同一索引在三个平台上表示相同源动作。这个共同集合是潜变量对齐与公平比较能够成立的数据前提。

计算账本值得单独说明。统一运行耗时 5 小时 26 分、使用 16.3 GPU 小时和三块 H100 NVL;三个单机专家合计 13.9 GPU 小时。统一配置并没有节省总算力,反而多出约 17%。它的收益主要在代码、模型与后续动作接口复用:推理侧仍共享同一策略权重,训练时则必须同时维护三台机器人的仿真与数据流。论文没有给出单独训练和调度的实际工程工时,因此不能把 2.4 GPU 小时差额直接解释为总成本。

8. 仿真结果:性能保持得有多完整

论文比较单机专家、共享世界模型、共享策略以及世界模型与策略都共享的统一配置。最重要的是统一配置相对专家的六个机器人—接口组合,见表 2。专家每台机器人只用一个世界模型和策略训练,统一模型则同时学习三台。二者使用相同环境数、迭代数、架构与优化设置。

接口配置G1 生存率 / 回报X2 Ultra 生存率 / 回报T2 生存率 / 回报
完整动作单机专家99.797% / 0.930699.818% / 0.925399.860% / 0.9448
完整动作统一共享99.747% / 0.935899.891% / 0.930499.886% / 0.9398
五点单机专家99.849% / 0.880799.841% / 0.868999.857% / 0.9014
五点统一共享99.729% / 0.862699.880% / 0.877499.852% / 0.8890

统一配置在所有六个组合上的平均回报与专家差都不超过 0.02,最大落差是 G1 五点接口的 0.018。生存率方面,G1 完整动作和五点分别降低 0.050 与 0.120 个百分点,T2 完整动作降低 0.026 个百分点;X2 两个接口和 T2 五点由统一策略略高。考虑到所有值都接近 100%,低两位小数更能反映差异。统一策略没有出现“平均指标稳定但某一平台明显塌陷”的情况。

五点接口对回报的影响大于生存率。四种配置中,五点相对完整动作平均降低 0.04–0.07。它在统一策略上分别让 G1、X2 和 T2 的 23、13、44 段剪辑提前终止,而专家配置下 G1 与 X2 分别多终止 67 与 29 段,T2 反而多完成 4 段。稀疏点提供的是更容易由人体动作或遥操作生成的控制面,但只约束五个刚体,无法像完整关节目标那样明确规定中间肢体姿态,精度下降是可预期代价。

共享策略、形态条件解码器与共享世界模型

图 2:完整动作目标和五点目标经过两个共享编码器进入同一 32 维潜空间;形态既拼接进入解码器,也通过 FiLM 调制隐藏特征,并同样进入世界模型。

三种人形机器人的五点行走与挥手跟踪

图 3:同一参考动作在 G1、X2 Ultra 与 T2 上以五点接口执行行走和挥手。球体表示当前目标,实线表示十帧预览。

三种人形机器人执行同一完整动作策略

图 4:同一完整动作策略在三台机器人上执行跳远、慢跑和旋转舞蹈。图中五帧按时间从左到右排列,排布间距经过显示调整。

9. 跨形态诊断:为什么只拿一个机器人训练不够

作者进一步做了一项更容易暴露问题、也更接近真实泛化的诊断。他们拿 40,000 次迭代的 G1 单机专家,以及共享世界模型但只在 G1 上训练的策略,不改权重直接控制 X2 与 T2。两种情况分别测试“使用目标机器人的动作尺度与默认姿态”以及“保留 G1 参数、只换目标机器人关节映射”。结果远没有共同训练时乐观。

训练与迁移方式X2 完整动作X2 五点T2 完整动作T2 五点
G1 专家,目标机参数7.7% / 0.21317.2% / 0.2641.9% / 0.0482.6% / 0.047
G1 专家,保留 G1 参数87.7% / 0.72476.8% / 0.4011.6% / 0.0422.1% / 0.027
共享世界模型 G1 策略,目标机参数8.1% / 0.22324.6% / 0.2781.5% / 0.0402.2% / 0.035
共享世界模型 G1 策略,保留 G1 参数82.8% / 0.69282.2% / 0.4071.6% / 0.0361.7% / 0.025

X2 的结果说明,“换到目标机参数”并不总是更安全。G1 策略原本在 G1 动作尺度上训练,把动作和目标参数一起替换到 X2 后,策略输出与执行器响应之间的关系完全离开训练分布,生存率降到 7.7%;保留 G1 动作尺度反而达到 87.7%。这说明规范关节槽位解决了语义对齐,却没有自动解决策略对特定执行增益的依赖。

T2 在几乎所有迁移条件下都低于 3% 生存率。除了形态和动作差异,作者指出 T2 的 IMU 位于躯干,而 G1 策略训练时使用的是骨盆 IMU;这种传感坐标系差异没有在单机策略中见过。把仿真 T2 的 IMU 移到腰部偏航连杆后,G1 参数下的专家迁移完整动作与五点生存率升到 83.4% 与 75.4%,共享世界模型版本为 81.5% 与 74.2%。这一对照把“身体形态差异”和“观测定义差异”拆开,说明后者本身就能决定策略能否闭环。

反过来,三形态共同训练后,统一策略在 X2 与 T2 上达到 99.88% 左右的五点和完整动作生存率,甚至略高于单机专家。这是论文最有信息量的结果之一,但它支持的结论是:训练时纳入目标机器人的形态、执行器和传感布局,可以让共享策略在这些机器人上学习完整控制;它不证明模型能无数据泛化到第四台机器人。作者在结论中也把 X2 Ultra 与 T2 的实机验证列为未来工作。

10. 真机实验与实际可部署性

仿真训练后的 40,000 次迭代统一策略被导出为 ONNX,并直接部署到一台真实 Unitree G1。每一步读取骨盆 IMU 的姿态与角速度以及 29 个关节编码器,输出动作后通过动作映射转成关节位置目标,交给使用训练增益的 PD 控制器。虽然权重在三个机器人之间共享,真机执行仍加载 G1 专属的归一化、默认姿态、关节限位和动作尺度。

舞蹈与行走使用完整动作接口。每段动作开始时按机器人当前朝向旋转参考,使 IMU 航向与参考方向一致。五点遥操作使用 PICO 头显、两个手持控制器和两个踝部跟踪器,将操作者动作以控制频率重采样和重定向到 G1 参考状态;由于人体输入只有当前状态,系统用名义缓冲提供 K−1=9 帧未来预览。操作者可驱动机器人完成站立、下蹲和手臂动作。

真机部分证明了三件事:训练世界模型中的策略可以跨过仿真到现实;多接口共用同一解码器在实际控制链路上可运行;策略所需输入都来自机载 IMU、关节编码器和外部参考,不依赖动捕场地中的机器人绝对位置。它没有证明 X2 和 T2 已能实机运行,也没有报告舞蹈、行走与遥操作各自的成功率、动作时长、跟踪误差和失败恢复次数。

从部署工程看,论文给出的接口边界比演示视频本身更重要。策略与机器人之间需要一张逐关节符号和零位表、一个按执行器缩放的规范动作解释器、一份 125 维形态向量、一套机器人本地归一化统计,以及按接口切换的完整目标或五点目标。任何一项与仿真不一致,都可能把“相同权重”变成完全不同的闭环。T2 的 IMU 迁移实验已经提供了这种风险的直接证据。

11. 贡献边界与审慎评价

MorphMimic 的主要技术贡献不是首次进行跨形态控制。已有工作通过硬件条件策略、模块化策略、语义关节对齐、形态随机化和世界模型条件化来共享不同机器人之间的控制知识。本文的差异在于把共享范围推进到一个完整的可微世界模型和全身动作跟踪策略,并把动作潜变量对齐、五点稀疏接口、形态条件评价器放进同一个想象训练闭环。

最关键的设计组合有三点。第一,规范布局先消除关节命名和正方向差异,动作尺度又按力矩上限与 PD 增益归一化,使共同动作槽具有相近的相对物理含义。第二,世界模型和策略都显式接收形态,避免仅靠机器人编号或输入分布隐式识别身体。第三,五点编码器不是独立控制器,而是通过潜变量匹配复用完整动作解码器。三者缺一,五点接口和跨机器人潜变量共享都难以成立。

结果也说明“统一模型不损性能”是一个有条件结论。训练集、动作源、跟踪体定义与评测片段都经过共同化;三台机器人虽然不同,但都属于尺寸和自由度相近的人形平台。若换成关节数量差异很大、没有髋膝踝对应关系、使用轮足结构或柔性执行器的平台,29 关节公共接口本身就不再成立。论文的新平台要求是“符合该布局”,这一限制不应被跨形态叙事的普遍性掩盖。

另一个容易被忽略的成本是形态向量的构造。它要求四组执行器参数和九项几何质量指标,其中增益、力矩上限和子结构质量通常在型号文件、辨识实验或仿真资产中才能得到。论文没有说明参数误差对策略的影响,也没有做增益或质量扰动测试。未来若要把方法用于新厂商,形态描述子的可获得性可能比训练一个网络更早成为瓶颈。

12. 局限性

作者明确承认,实机实验只覆盖 Unitree G1,X2 Ultra 和 T2 仍停留在仿真。这个限制不只是“还有两台没上真机”。不同平台的脚底接触、电机热漂移、通信延迟和 IMU 噪声会改变策略最敏感的反馈通道;G1 成功不代表 16.3 GPU 小时训练出的统一权重已经具备三平台 sim-to-real 能力。

所有仿真评测都使用名义物理参数、干净观测、确定性重置与干净目标。真实部署会遇到摩擦变化、负载、编码器偏置漂移、感知延迟和参考动作不连续。训练虽然随机化 0–40 ms 执行器延迟,却没有报告质量、摩擦、增益和传感器噪声的分布范围。真实 G1 实验又缺少定量误差与重复试验,因而目前只能支持可行性,不能支持可靠性结论。

评估没有留出未见形态。统一策略在 X2 与 T2 上的高生存率属于训练机器人上的结果;G1 单机迁移实验则表明未见执行器和 IMU 定义会导致严重失败。下一步应区分三种泛化:同平台新动作、已知平台新参数、陌生平台少样本适配,并分别测试。当前证据只覆盖前两项中的有限部分,没有覆盖真正的模型到新身体扩展。

论文还依赖单一重定向管线。X2 与 T2 都通过 SOMA Retargeter 从 BONES-SEED 生成参考,动作风格、足端约束和可行域过滤的系统偏差会同时进入三台机器人的训练与评测。如果比较的是同一重定向器生成的“可实现动作”,可能会高估策略对人类原始动作差异的适应能力。未来需要交叉使用多个重定向器和真实遥操作数据。

评测只看十帧、约 0.2 秒的短前瞻。策略能对当前和近期未来目标做反应,却没有显式规划长时接触序列、落脚点或能量预算。五点接口的稀疏性进一步减少了未来约束。论文没有报告长动作漂移、连续动作切换、受阻后的恢复以及长时间运行时世界模型误差如何积累,这些都属于部署前必须补充的风险面。

13. 结论与展望

MorphMimic 展示了一条可操作的跨人形机器人全身跟踪路线:先将关节和跟踪体语义、动作尺度与观测窗口统一,再用 125 维形态描述子条件化共享世界模型、解码器和评价器,通过对应帧潜变量对齐让同一命令跨身体靠近,最后让五点编码器匹配本机的完整动作潜变量。统一配置在 128,786 段共同动作上保持专家级仿真性能,并把同一权重带到真实 G1。

这项工作真正的分界线已经被实验画得很清楚。已知且已训练的三种形态可以共享一个高性能策略;单机 G1 策略直接迁移到 X2 和 T2 时会因执行器、默认姿态和 IMU 坐标系失配而崩溃。因此,“跨形态”目前更准确的含义是多形态联合训练与统一接口,而不是无条件零样本泛化。后续最有价值的实验是加入第四种未参与训练的形态,用少量数据适配,并给出参数扰动、重定向器变化和实物平台重复运行结果。

MorphMimic 证明一个脑可以学会三种相似的身体,但它同样清楚地表明:统一关节编号只是入口,执行器、观测坐标系与训练分布仍决定策略能否真正站稳。

参考与核验说明

本文依据项目页提供的 9 页 PDF 全文、PDF 中的公式与表 I–III、项目页展示的仿真图和真机结果撰写。稿件未使用虚构 arXiv 编号。图 2、图 3 和图 4 已从论文源文件提取并作为站内媒体保存。代码状态通过公开项目页链接的 GitHub 仓库自述核验;该仓库不是作者原始训练代码,因此本文没有用它声称复现实验数值。

相关工作入口:SuperMimic、Any2Any、形态条件四足世界模型、NVIDIA SOMA Retargeter。这些链接仅用于定位论文明确引用的上下文,不构成对本工作的额外实验证据。

相关论文

Contact-UAN:以无监督执行器网络作为人形机器人控制的残差世界模型

Contact-UAN:以无监督执行器网络作为人形机器人控制的残差世界模型

Contact-UAN 把人形机器人执行器的仿真差距建模为叠加在关节目标上的残差动作,并用真实本体感觉轨迹训练这一模型。为避免残差学习去修补错误的回放初态,方法先从接触状态与站立脚位姿估计出与硬件接触力一致的仿真复位状态,再冻结该残差模型用于下游强化学习,部署时只保留任务策略。仅用 6.5 分钟真实行走数据,该方法在奔跑中降低约 20% 力矩、将力跟踪误差降低 42.8%,并支持柔顺控制、阻抗控制与动态跳跃。

Nolan Fey, Khai Nguyen, Yash Prabhu · 60次阅读 · 2026年10月13日
人形机器人Actuator Modeling
2026年10月13日
柔顺 GMT:用残差参考自适应实现通用运动追踪

柔顺 GMT:用残差参考自适应实现通用运动追踪

C-GMT 先微调力鲁棒 SONIC,再以力特权教师蒸馏本体感觉残差适配器,通过改写运动 token 实现可调刚度的全身柔顺响应,同时保留通用运动追踪能力。

Venki Parsuram, Michelle Wang, Jin-Hyuk Hong · 86次阅读 · 2026年10月15日
人形机器人运动追踪
2026年10月15日
从视频到视觉:从人体动作学习可泛化的人形机器人搬运

从视频到视觉:从人体动作学习可泛化的人形机器人搬运

现有视频驱动的人形机器人模仿学习通常要在运行时持续生成参考轨迹,策略因此依赖动捕室中的全局位置,物体一旦偏离演示位置,成功率便快速下降。本文提出三阶段教师—助手—学生训练框架 MOVER:先用 GENMO 从 100 段视频恢复人体运动,再由 GMR 重定向到 29 自由度天工人形机器人,并通过物体几何、尺度与位姿增强得到 4000 条参考轨迹;随后依次训练严格跟踪的教师、弱化自身体位置跟踪的助手,以及去除本体位置观测的 DAgger-PPO 学生。部署阶段由头戴 RGB-D 相机和物体标记估计相对位姿,QuatNet 则从物体相对位姿、关节状态与目标位置回归参考朝向。方法在仿真中比较多种物体摆放和形状配置,并在无动捕环境中完成真机搬运,但训练数据规模、视觉遮挡和目标定位误差仍限制泛化。

Ziluo Ding · 111次阅读 · 2026年10月10日
人形机器人Object Carrying
2026年10月10日
基于注意力接触规划的人形机器人移动控制

基于注意力接触规划的人形机器人移动控制

本文把人形机器人全身移动中的接触关系作为感知、规划与控制之间的中间接口。系统先从人体动作中提取机器人可执行的接触标签,训练接触条件全身跟踪器;随后使用注意力网络从局部地形高度图直接预测双脚、双膝、双手、双肘与骨盆的未来接触点;最后在程序生成的目标到达地形上强化学习微调,并把成功轨迹回收为规划器的监督数据。部署时策略不依赖参考动作,仅使用机载本体感觉、LiDAR 地形图和目标命令。仿真中,该方法在十一类地形上均优于 MGMT,八条复合路线平均成功率为 92.5%,稀疏全身地形经第三阶段微调后提升 54.8 个百分点;Unitree G1 真机展示了攀爬、爬行、起身、通过复杂地形和失败恢复等能力。

Junzhe He, Kehan Wen, Chong Zhang · 201次阅读 · 2026年10月22日
人形机器人运动
2026年10月22日

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。