Skip to content
←返回论文库

PAPER DEEP DIVE

人形机器人运动重定向Sampling-based MPC

面向足式机器人的稠密时序动作重定向

DTMR 将参考动作的相位增量与 PD 关节目标联合优化,按机器人动力学局部伸缩节奏,在 999 段动作上提升精度并将运行时间缩短约 19–21 倍。

作者:Jaeryeong Kim、Taerim Yoon、Jin Cheng、Sungjoon Choi、Stelian Coros。论文发表于 arXiv,版本为 2609.38617v1,学科分类为机器人学,采用 CC BY 4.0 许可。官方代码位于 github.com/nicolejrkim/DTMR,项目页提供了真机演示。

一句话总结

DTMR 把参考动作的相位增量与关节 PD 目标一起作为控制量,在 GPU 上通过退火 MPPI 联合优化,使机器人只改写动力学无法跟随的时间片段,同时保留动作的整体语义。

研究背景与问题

人体动作数据规模大、类别多,是训练人形机器人全身控制策略的重要参考。然而人体、动作捕捉骨架与目标机器人之间存在明显的尺寸、关节范围和驱动能力差异。把一个动作从人身上直接映射到机器人,即使每一帧的关节位置看起来相近,也不代表机器人能在相同时间里完成同样的加减速、腾空和落地。

传统流水线通常先做运动学重定向,再用全身控制器跟踪生成参考。前半段主要处理几何关系,例如骨骼长度、关节对应和根节点位置;后半段负责在物理仿真或真机上跟踪轨迹。问题在于,参考动作的时间轴往往被当成固定输入。机器人跟不上某个快速抬腿动作时,控制器只能产生更大的跟踪误差,或者牺牲其他身体部位的姿态。

已有时间重定向方法已经允许整体缩放速度,或者把静态片段与动态片段分开处理。这类方法能改善可执行性,却会把时间变形扩散到整段动作。一个只需要在高跳起跳前延迟半秒的动作,可能被整体拉长;一段本来应当快速完成的翻跳,可能因此失去原有的节奏。论文的出发点不是“让所有动作都变慢”,而是寻找动作中真正需要变速的局部片段。

本文把这个问题写成带物理动力学的轨迹优化。参考动作由相位变量标记,相位增量决定每一控制步向前读取多少参考运动。若机器人在某个片段跟得上,增量就接近源速度;若机器人需要更多时间调整姿态,增量就减小。时间轴不再是预先给定的标签,而是和关节目标共同被搜索的决策变量。

这一建模带来两个直接结果。第一,时序调整是稠密的:每个控制步都有独立的相位增量,局部困难可以由局部减速解决。第二,时间与动作服从同一套动力学成本:控制器不会为了贴合参考姿态而规划一个机器人实际无法执行的瞬移。论文的核心贡献因此不是添加一个后处理平滑器,而是把“什么时候做”纳入物理可行的控制搜索。

预备知识

论文采用基于采样的模型预测控制。当前计划由未来若干控制步组成,控制器在每一步从计划附近采样大量噪声轨迹,在物理模型中滚动展开,计算每条轨迹的成本,再让低成本的轨迹以更大权重修改计划。

MPPI 的更新可以写成下面的加权平均。它把采样轨迹视为围绕当前计划的局部探索,而不是只用一条最优样本替换计划。

$$\mathbf{U}\leftarrow\mathbf{U}+\sum_{n=1}^{N_W}w_n[W]_n,\qquad w_n=\frac{e^{-J_n/\lambda}}{\sum_m e^{-J_m/\lambda}}$$

其中 $\mathbf{U}$ 是当前计划,$[W]_n$ 是第 $n$ 条噪声序列,$J_n$ 是滚动成本,$\lambda$ 是温度。温度较高时权重更平滑,较低时更偏向少数低成本样本。GPU 的价值在于这些独立轨迹可以并行执行,因此一次控制步能够评估数千条物理上不同的可能性。

第二个基础是运动学参考与机器人正向运动学之间的关键点误差。参考动作以关键点轨迹 $\bar{\mathbf{p}}$ 表示,机器人状态通过正向运动学变成同类型的观测。相位 $\phi$ 的作用是决定当前读取参考运动的哪个位置。若相位均匀推进,机器人就以源动作速度执行;若相位增量变化,动作节奏随之变化。

方法详解

1. 原始问题把相位和电机控制分开优化

论文先定义足式机器人状态 $\mathbf{x}_k=(\mathbf{q}_k,\dot{\mathbf{q}}_k)$,其中 $\mathbf{q}_k$ 包含根位姿与关节角。状态转移由 $f$ 表示,$\mathbf{u}_k$ 是电机控制。参考动作的相位被限制在零到一之间,并允许在时间上单调推进。

如果直接写优化目标,需要同时寻找电机控制和整条相位轨迹:

$$\min_{\mathbf{u},\boldsymbol{\phi}}\frac{1}{2T_\phi}\sum_{k=0}^{T_\phi}\left\|\mathrm{FK}(\mathbf{x}_k)-\mathrm{LI}(\phi_k;\bar{\mathbf{p}})\right\|_Q^2$$

约束同时包含机器人动力学和相位边界:

$$\mathbf{x}_{k+1}=f(\mathbf{x}_k,\mathbf{u}_k),\quad\phi_0=0,\quad\phi_k\leq\phi_{k+1},\quad\phi_{T_\phi}=1$$

这里的 $\mathrm{FK}$ 是机器人正向运动学,$\mathrm{LI}$ 表示按相位在参考关键点之间插值,$Q$ 是误差权重,$T_\phi$ 是相位到达终点所用的控制步数。这个写法已经表达了时间可变的重定向,但相位仍像一个额外的全局轨迹变量,难以直接放进常规采样控制器。

2. 把相位增量并入控制向量

DTMR 的关键变换是把相位当作状态的一部分,把相位增量当作控制的一部分:

$$\tilde{\mathbf{x}}_k=(\mathbf{x}_k,\phi_k),\qquad\tilde{\mathbf{u}}_k=(\mathbf{u}_k,d\phi_k),\qquad\tilde{\mathbf{x}}_{k+1}=\tilde{f}(\tilde{\mathbf{x}}_k,\tilde{\mathbf{u}}_k)$$

于是机器人按原动力学前进,而相位按 $\phi_{k+1}=\phi_k+d\phi_k$ 推进。这样做之后,控制器采样的每一个动作不仅包含关节目标,也包含“下一步阅读参考动作多远”。时间与电机控制不再是两个串联模块,而是在一次滚动展开中共同决定。

为了对变速程度作统一度量,论文定义相对源速度的变形率:

$$r_k=\log_2(d\phi_k/d\phi^{\mathrm{src}}),\qquad\langle|r|\rangle=\frac{1}{T_\phi}\sum_k|r_k|$$

$r_k=-1$ 表示局部速度减半,$r_k=1$ 表示快一倍。这个定义让不同动作时长和不同机器人的时间变形可以横向比较。平均绝对值 $\langle|r|\rangle$ 则衡量整段动作被改写了多少。

3. 单层目标把时间变形纳入运行成本

完成状态增广后,原问题可以改写为对增广控制的单层优化:

$$\min_{\tilde{\mathbf{u}}}\frac{1}{T_\phi}\sum_{k=0}^{T_\phi}c(\tilde{\mathbf{x}}_k,\tilde{\mathbf{u}}_k)$$

运行成本由跟踪、时间变形和正则项组成:

$$c(\tilde{\mathbf{x}}_k,\tilde{\mathbf{u}}_k)=c_{\mathrm{track}}+w_{d\phi}c_\phi+c_{\mathrm{reg}}$$

$c_{\mathrm{track}}$ 惩罚机器人与当前相位参考之间的根节点、连杆位置、朝向、关节速度和力矩等差异;$c_\phi$ 约束时间变形;$c_{\mathrm{reg}}$ 抑制不合理的动作变化。论文将相位权重 $w_{d\phi}$ 作为可调参数,并在后续实验中专门分析它与精度、节奏保留之间的关系。

这个目标有一个容易被忽略的优势:控制器不需要先判断“这是动态动作还是静态动作”。它只需要在每个控制步比较跟踪误差和变速代价。高跳腾空阶段若跟得上,就保持源速度;起跳前若需要更长蓄力,就局部降低相位增量。

4. 低成本参数化与并行物理滚动

若每个控制步都独立采样关节目标和相位增量,搜索维度会随预测时域线性增长。论文因此只优化少量控制节点,再由节点生成完整时域控制序列。主实验使用 40 步预测时域和 8 个控制节点,每步进行 4096 条并行滚动。

噪声退火沿用 DIAL-MPC 的思路,随迭代和时域位置收缩:

$$\sigma_{i,h}=\sigma_0\beta^{i-1}\beta_h^{H-h}$$

迭代越往后,采样越集中;同一轮中,近端控制比远端控制更精细。低成本样本还会通过鲁棒范数处理,避免单个大误差完全支配轨迹排序:

$$\rho(\mathbf{e})=\sum_i\left[(|e_i|^q+\delta^q)^{1/q}-\delta\right]$$

根节点和连杆使用不同的 $\delta$ 与 $q$。这反映了二者误差性质不同:根节点需要更直接的空间约束,连杆姿态则要容忍局部偏差。贪心成本在这些经过鲁棒处理的分量上累加,再由软最大化得到精英样本权重。

5. 计划如何从参考动作启动并滚动

算法用参考关节轨迹和源相位速度初始化计划。每个控制步先采样噪声并生成完整动作序列,再依次推进相位、设置 PD 目标、执行物理步、计算成本。完成退火更新后,只执行当前控制步,然后把计划向前平移一步,末端用新的参考关节目标和源相位速度补齐。

公开代码与论文描述基本一致。控制循环先提取动作最后一个维度作为相位增量,再更新相位、执行控制、推进物理并计算成本:

for t in range(H):
    extract_rdphi(actions, rdphi, t)
    phase_update(rdphi, phi, dphi, frame_idx, frame_alpha)
    launch_ctrl(state, actions, t)
    step_physics(state, actions, t)
    launch_plan_cost(state, t)

代码位置为 src/dtmr/tracker/controller.py:327-395。动作向量最后一个维度保存相位变化,其余维度保存关节控制。计算得到的相位增量由指数映射恢复,这与论文中相对源速度取以二为底对数的定义一致。

6. 公开实现中的插值与配置差异

论文正文称,完整控制序列由控制节点线性插值得到;但当前公开仓库的样条矩阵使用二次样条,核心调用为 make_interp_spline(..., k=2),见 src/dtmr/tracker/splines.py:10-17。二次样条比分段线性更平滑,可能让相邻控制节点的速度过渡更自然,但论文没有针对这一实现差异给出消融。

另一个复现细节是配置口径。论文表 II 的主实验设置是 4096 个样本、40 步时域和 8 个节点,而仓库调试默认值更保守。复现论文结果时应以正式发布配置和表中参数为准,不能把调试默认值当作完整实验设置。这些差异不影响方法思想,却会直接影响运行时间和成功案例,是阅读开源实现时必须核对的地方。

7. 分层作用与局部时间变形

模型预测控制的滚动结构使时间调整具有反馈性质。每次只执行最新计划的第一步,下一次又根据真实物理状态重新采样。某个落地冲击造成状态偏差时,后续相位增量能够吸收这个偏差,而不是继续死板地跟踪原时间轴。

局部性来自成本平均与相位权重。若每帧都给相位变化相同惩罚,控制器会倾向于在多个容易的片段分散变形;若局部片段需要明显减速,它也可以付出集中代价。实验中的高跳图展示了这一机制:机器人延后起跳,缩短腾空时间,而不是把整段助跑等比例拉长。

下面的流程图概括了这篇论文特有的数据流,而不是通用的“输入到模型再输出”模板。

flowchart LR
    A[Source keypoint motion] --> B[Phase phi in 0 to 1]
    B --> C[Plan nodes: PD targets + dphi]
    C --> D[Sample 4096 controls]
    D --> E[Advance phase before physics]
    E --> F[MuJoCo Warp rollout]
    F --> G[Tracking + timing + torque cost]
    G --> H[Annealed MPPI elite update]
    H --> I[Execute first control]
    I --> J[Shift warm start plan]
    J --> D
  

8. 为什么时间与动作必须同时优化

如果先固定时间,再让控制器求解,快速动作可能被判定为不可执行;若先单独调整时间,再训练策略,时间变形未必符合动力学。DTMR 把二者放在同一次物理滚动中,因此比较的是“在相同未来时间内,哪一组关节目标和推进速度更值得执行”。这比姿态误差更接近机器人真正面对的选择。

同时优化也解释了论文的精度结果。允许局部减速后,控制器可以用更多时间完成高加速度动作,从而减少根节点和连杆误差。允许局部提速则能避免静态准备动作被无意义拉长。时间变形不是目的,而是降低物理跟踪成本的一种连续控制资源。

实验设置与数据

实验使用两小时的人体动作数据构建机器人参考集,共 999 段,其中 496 段属于移动动作。四类人形机器人是 Unitree G1、R1、H1-2 与 Booster T1,四足实验使用 Unitree Go1。论文在仿真中评估物理可行性与语义保真度,再用训练在重定向参考上的策略部署到真机。

论文区分两类误差。第一类是相位对齐后的重定向误差,它直接比较同一局部时间点上的机器人关键点与参考关键点,因此会惩罚动态不可行造成的延迟;第二类是动态时间规整误差,它允许时间轴弯曲后再对齐,更适合观察动作形状和语义是否保留。两种指标不能只看一个。

下表列出方法最能说明设计取舍的跟踪权重。权重不是统一常数,而是根据根节点、连杆、朝向、关节速度、相位和调节项分别设置。

成本项权重作用
根节点位置28保持整体位移与参考一致
连杆位置14约束全身关节形态
连杆朝向5保持肢体旋转关系
关节速度0.01轻度约束动作平滑性
相位变形5控制允许的时间偏移
力矩能量0.05抑制不必要的高能耗运动
动作变化率1.0减少控制目标跳变

优化参数同样决定了实验是否可复现。下表来自论文主实验,而不是仓库调试默认值。

参数数值参数数值
采样数4096预测时域40 步
控制节点8冷启动/热启动退火5 / 2 次
初始噪声0.15迭代衰减0.6
时域包络0.95采样温度0.3
精英比例0.1相位噪声0.3
根节点鲁棒范数0.1 米,q=2连杆鲁棒范数0.2 米,q=4
控制周期20 毫秒物理步长5 毫秒

主要实验结果

1. 动态可行性误差在四类人形机器人上均下降

论文把 DTMR 叠加在 SoMa-RT 的输出上,再与 GMR、PHUMA、OmniRetarget 和 SoMa-RT 比较。Table III 的中位误差显示,DTMR 在四个人形平台上都优于原始 SoMa-RT。G1 从 103.7 毫米降到 81.4 毫米,R1 从 83.9 毫米降到 77.6 毫米,H1-2 从 151.8 毫米降到 136.3 毫米,T1 从 132.0 毫米降到 112.8 毫米。

平台SoMa-RT 中位误差DTMR 中位误差相对改善
Unitree G1103.7 毫米81.4 毫米21.5%
Unitree R183.9 毫米77.6 毫米7.5%
Unitree H1-2151.8 毫米136.3 毫米10.2%
Booster T1132.0 毫米112.8 毫米14.5%
四平台平均13.4%

改善幅度并不均匀,这恰好说明时序重定向不是一个只靠全局速度缩放就能解决的常数问题。R1 的原始误差已经较低,可压缩空间有限;G1 与 T1 对局部时间变形更敏感,收益更明显。

2. 高难度动作的收益来自上四分位,而不是简单样本

按分位数看,动态可行性误差的 25% 分位平均只改善约 1.8%,中位数改善约 13.4%,75% 分位改善约 14.9%。这意味着容易的动作几乎不需要改变时间,收益主要集中在最困难的四分之一。方法没有靠普遍放慢全部动作换取表面上的低误差,而是优先修复机器人确实跟不上的片段。

动态时间规整误差也显示同样趋势。四个人形平台的动态时间规整中位误差平均改善 12.9%。因为该指标先允许时间弯曲,所以它更关注动作形状是否保留。误差同时下降,说明 DTMR 不是单纯用“更慢”换“更像”,而是在改变节奏后仍保留了动作结构。

Figure 2 的舞蹈实验进一步展示了权重的作用。论文报告,较大的相位权重更强调原节奏,较小的权重允许更多时间变形。当权重从 5 降到 0.5,平均绝对变形率从 0.20 升到 0.23,误差降低约 30 毫米;权重为 10 时误差约为 202 毫米,权重降到 0.5 后约为 170 毫米。节奏与精度之间是可量化的连续权衡。

不同相位权重下舞蹈动作的时间线与时长变化

图 1:论文 Figure 4。相位权重越大,动作时长越接近源节奏;权重降低后,机器人获得更大的时间调整空间。图片来自论文 Figure 4。

3. 同变形预算下比独立时间基线更精确且快约十九倍

为了确认收益不是来自“允许无限变形”,论文与独立时间重定向基线 STMR 在相同变形预算下比较。结果显示,DTMR 的重定向误差更小,且 G1 上十段动作的总运行时间从 45.4 小时降到 2.4 小时,约 19.2 倍加速;平均每段从 4.5 小时降到 14 分钟,约 18.9 倍。Go1 两段动作从 2.4 小时降到 7 分钟,约 20.8 倍。

设置基线DTMR结果
G1 十段总耗时45.4 小时2.4 小时约 19.2 倍加速
G1 单段平均耗时4.5 小时14 分钟约 18.9 倍加速
Go1 两段耗时2.4 小时7 分钟约 20.8 倍加速
相同变形预算精度STMRDTMR精确约 22%

提速来自把时间选择和电机控制放进同一个可并行搜索,而不是先反复求解一个独立时间优化、再训练跟踪策略。论文估计完整两小时数据集的生成成本约为 200 个 GPU 小时,相当于 80 到 100 倍动作时长的计算量。它仍然昂贵,但已从“难以构建大规模数据集”进入“可以批量生产”的范围。

4. 极端腾空与翻转最能体现局部时序修正

Table V 的逐动作结果提供了最直观的证据。高跳第三段从 556.0 毫米降到 82.2 毫米,翻跳从 1213.6 毫米降到 111.6 毫米,接物第一段从 165.3 毫米降到 55.3 毫米。这些动作的共同特征是短时间内需要完成大范围重心变化或腾空阶段,固定时间轴会让控制器在落地前积累无法挽回的误差。

动作STMR 误差DTMR 误差变化
高跳第三段556.0 毫米82.2 毫米降低 85.2%
翻跳1213.6 毫米111.6 毫米降低 90.8%
接物第一段165.3 毫米55.3 毫米降低 66.5%
侧步83.2 毫米76.7 毫米降低 7.8%
梳头11.6 毫米12.3 毫米略升 6.0%

静态动作并不总是受益。梳头误差从 11.6 毫米略升到 12.3 毫米,说明额外的时序自由度也可能引入轻微偏差。论文的重点不是声称每个动作都单调改善,而是说明困难动态动作能够获得数量级上的修复,同时简单动作大体保持。

高跳动作中延迟下蹲并缩短腾空时间的示意图

图 2:论文 Figure 1。DTMR 延后下蹲与起跳,并压缩腾空时间,同时保留高跳的整体结构。图片来自论文 Figure 1。

高跳动作中 STMR 失败与 DTMR 成功的比较

图 3:论文 Figure 3(a)。STMR 在高跳起跳阶段失败,DTMR 通过延迟起跳并压缩腾空完成动作。图片来自论文 Figure 3。

翻跳动作中 STMR 落地失败与 DTMR 保持平衡

图 4:论文 Figure 3(b)。翻跳中,STMR 落地失败,DTMR 重新分配腾空与落地时间后保持稳定。图片来自论文 Figure 3。

5. 骨盆轨迹揭示“先延迟、后追赶”的局部节奏

Figure 5 用骨盆高度时间线呈现静态接物动作。STMR 对整段动作施加较均匀的时间变形,DTMR 更接近源动作的节奏,只在需要调整身体平衡的局部片段偏离。Figure 6 的高跳则相反:源动作的短促峰值被重新安排,机器人先延迟下蹲,再利用更短腾空窗口完成跳跃。

静态接物动作中源动作、STMR 与 DTMR 的骨盆高度时间线

图 5:论文 Figure 6(a)。静态接物动作的骨盆高度时间线显示,DTMR 没有把静态片段普遍拉长。图片来自论文 Figure 6。

高跳动作中源动作、STMR 与 DTMR 的骨盆高度时间线

图 6:论文 Figure 6(b)。高跳动作中,DTMR 保留局部腾空结构并改变起跳与落地时序。图片来自论文 Figure 6。

这组图的解释价值高于只报平均误差。它说明 DTMR 学到的是相位推进策略:在物理约束允许时回到源速度,在无法完成动态转换时局部改变。平均误差下降是这种逐段调整的结果,而不是一个全局缩放系数。

6. 真机部署验证策略可执行性

论文把 DTMR 生成的动作用于训练,再把策略部署到 Unitree G1。真机脚部穿梭舞的跟踪奖励从 40.8 升到 42.5,重心转移舞从 38.9 升到 41.7。第二段动作中,手臂被放慢到源速度的 0.84 倍,这种局部放慢让机器人维持了整体节奏,同时减少了难以执行的手臂快速摆动。

真机结果只能作为有限证据,因为论文没有报告大规模机器人平台上的长期可靠性。但它至少说明,仿真中的时间重定向并没有产生只对特定状态轨迹有效的伪解。控制策略能够在真实执行器、传感噪声和接触偏差下继续工作。

代码与可复现性分析

仓库提供了从参考动作导入、重定向、跟踪、评分到视频渲染的完整链路,并支持多种人形与四足机器人。论文中的相位指数映射在配置中写作 dphi_exp_base=2.0,动作最后维保存相对源速度的指数。实际相位增量由底数取幂后乘以控制周期并除以动作时长,这与论文的 $r_k=\log_2(d\phi_k/d\phi^{\mathrm{src}})$ 对应。

dphi = (dphi_exp_base ** rdphi) * dt / motion_duration

这段对应关系见 src/dtmr/env/kernels.py:745-764。读者若只按论文公式实现,还必须注意相位在物理步之前更新,否则成本读取的参考帧与机器人状态可能相差一步。

代码质量方面,控制器使用 CUDA 图捕获降低重复启动开销,也保留了无图执行路径作为兼容方案。这些工程优化解释了为什么 4096 条物理滚动能够成为可用工具。与此同时,仓库与论文在插值和默认参数上的差异应该被明确记录,尤其是需要比较运行时间或复现具体误差时。

讨论

DTMR 最重要的方法学意义是把时间视为控制资源,而不是在动作预处理阶段一次性决定。对于足式机器人,动作能否执行取决于接触、驱动和稳定性之间的瞬时关系;固定时间轴会把这些关系压缩成一个不可见的先验。联合优化让控制器在滚动过程中持续修正时间。

第二个意义是建立了数据生成的规模路径。高质量机器人动作数据不应只按帧复制人体动作,而应经过物理可执行性和节奏调整。把时间重定向纳入轨迹优化,可以在没有真机示教的情况下生产更接近可执行状态的参考,为后续模仿学习提供更好的起点。

这并不意味着所有动作都可以自动获得正确语义。物理可行的动作仍可能在文化或交互意义上是错的。例如舞蹈需要跟随音乐节拍,人与物体的接触需要保持物体运动连续。论文打开了局部时间调整的空间,但还没有解决“哪些局部必须保持原时序”的语义判断。

局限性

第一,作者明确指出方法理解动力学,却不知道哪些动作片段在语义上不可改变。舞蹈脱离音乐节拍会失去意义,而相位权重只能约束整体变形量,无法告诉系统某一段必须固定在特定节拍上。对这一类任务,还需要加入音乐、接触事件或人工标注的时序约束。

第二,作者尚未处理物体交互。拾取、投掷或接住物体时,接触时序必须与物体运动联合调整;只修改机器人相位,不能保证物体在正确时间到达正确位置。未来需要把物体状态、接触模式和事件约束纳入同一个优化问题。

第三,方法依赖 GPU 上的大批量物理滚动。完整两小时数据集约需 200 个 GPU 小时,对没有并行仿真基础设施的研究者仍有门槛。论文虽然把成本降低了约一个数量级,但不同机器人和接触模型仍需分别调参。

第四,跟踪权重决定了系统会牺牲哪一部分身体。根节点权重较高有助于保持整体位移,却可能把误差转移到手臂或关节姿态。论文展示的是若干权重配置下的统计结果,真实任务中的任务优先级仍需人工设计。

第五,公开仓库与论文正文在控制节点插值方式和部分默认参数上不完全一致。二次样条可能比线性插值带来更平滑的控制,但缺少专门消融;复现实验时应记录代码版本、配置和是否启用 CUDA 图,否则运行时间与误差可能无法直接对比。

总结与展望

DTMR 的核心做法可以概括为:让机器人在每一控制步同时选择关节目标和参考相位增量,再用并行物理滚动评估哪些时间安排真正可执行。它把时间重定向从独立预处理阶段变成控制器内部变量,从而在困难动作上实现局部减速、局部追赶,并保持大部分原节奏。

实验显示,该方法在四类人形机器人上降低动态可行性误差,在相同变形预算下比独立时间基线更精确且约快十九倍,并在高跳、翻跳和接物等动作上显著减少失败。真机实验提供了初步可执行性证据,但语义时序、物体交互和计算成本仍是下一阶段的关键问题。

后续研究可以把音乐节拍、接触事件和物体轨迹作为显式约束,也可以学习不同动作类别的时间先验,减少对人工权重的依赖。如果这些语义约束能够与当前物理滚动结合,时间重定向就有机会从“让动作做得到”继续走向“让动作在该发生的时候发生”。

金句:机器人缺的往往不是姿态,而是把正确姿态放到正确时间的那条时间轴。

相关论文

XBot-Omni:面向具身理解与交互的全模态模型

XBot-Omni:面向具身理解与交互的全模态模型

XBot-Omni 是面向具身理解与交互的全模态模型,采用 Thinker–Talker–Actor 三层架构。Thinker 统一处理文本、图像、音频和视频,Talker 以流式方式生成语音,Actor 直接利用二者的原生内部表示,同步生成身体动作与面部表情,并通过语义事件控制、语音—动作对齐和视觉指向训练,把场景理解转化为可执行的非语言表达。模型在七个基准上评估,在 Daily-Omni 达到 86.30%,在 ReTurn 达到 84.00%,语义动作质量显著高于已有动作生成方法;项目页目前只提供展示与视频,尚未发布公开模型代码。

Kerui Gu, Xing Fu, Shuoyang Sun · 217次阅读 · 2026年11月12日
具身智能Omni-Modal Model
2026年11月12日
统一惯性编码器:人类与人形机器人动作迁移

统一惯性编码器:人类与人形机器人动作迁移

以运动学合成 IMU 建立共享输入,联合训练速度估计与动作文本对齐,并零样本部署到 Unitree G1。

Yutian Chen, Shibo Zhao, Rocky Duan · 240次阅读 · 2026年11月6日
Inertial Odometry人形机器人
2026年11月6日
DyCraft:面向长时程四维场景生成的智能体系统

DyCraft:面向长时程四维场景生成的智能体系统

DyCraft 将长时程四维动画拆成静态场景、关键姿态三维分镜与局部运动,并通过逐帧物理验证和修复,让编码智能体生成可编辑、少穿模的动画场景。

Jeff Tan, Hang Dai, Zeqian Long · 231次阅读 · 2026年10月29日
4D生成Agentic AI
2026年10月29日
功夫机器人:基于物理的人形机器人全身控制学习高动态技能

功夫机器人:基于物理的人形机器人全身控制学习高动态技能

提出面向高动态技能的物理式人形全身控制框架,用接触感知运动过滤、可微IK重定向与自适应强化学习,让Unitree G1复现跳跃和旋转等动作。

Weiji Xie, Jinrui Han, Jiakun Zheng · 222次阅读 · 2025年6月15日
人形机器人全身控制
2025年6月15日

本站含 CakeGrowth 联盟推广链接,我们可能从符合条件的购买中获得佣金。