基于注意力接触规划的人形机器人移动控制

预备知识：接触条件与注意力地形编码

论文将机器人可主动建立接触的部位统一为九类：双脚、双膝、双手、双肘和骨盆。每个部位对应一个三维目标位置和一个二值占用标志。位置表达在随机器人偏航旋转、以机身为中心的重力对齐坐标系中，因此不依赖机器人当前世界坐标与朝向。若规划时域内没有新接触，输出为零向量。

规划器建立在注意力地形编码思路上。它不把高度图压成一个与任务无关的全局向量，而是保留地形点作为键和值，让机器人状态与目标形成查询，从地形中抽取与即将发生的身体接触相关的区域。相比自由空间回归，直接在地形表面选点天然满足“预测点必须落在可观察表面上”这一几何约束。

跟踪器采用非对称演员—评论家结构。演员只看真实机器人可获得的本体感觉、短时高度扫描、九个接触目标和目标命令；评论家训练时可读取仿真特权状态。Stage 1 与 Stage 2 使用动作跟踪评论家，Stage 3 的目标到达环境改用独立评论家，两类环境的优势函数分别归一化，以避免不同奖励尺度互相干扰。

方法详解

1. 接触感知的动作重定向与全身跟踪器

作者先把不同来源的人体动作转换为统一浮动基座和笛卡尔关键点表示，再针对 Unitree G1 求解带约束的非线性逆运动学。目标包含髋、膝、踝、趾、肩、肘、手、胸和头等关键点位置，同时约束关节限位、脚底不穿透地面，并对箱体、楼梯、梯级等环境几何加入最小距离约束。时间正则项抑制相邻帧跳变，使重定向结果既接近人体语义又被机器人运动学接受。

更关键的是，重定向过程同步检测骨盆、膝、脚、肘和手与环境物体的接触，记录接触部位、发生时间以及世界坐标中的接触位置。这样得到的不只是关节角序列，而是可以单独作为控制条件的接触计划。

跟踪器是隐藏层为 512、256、128 的三层多层感知机，使用 ELU 激活。输入包括五步本体感觉历史、9×7 局部高度扫描、九个体部位的接触坐标以及三维目标命令，共 468 维特征；无效接触以零向量表示。网络以 50 Hz 输出 23 个关节位置偏移，乘 0.25 后叠加到默认关节角，形成 200 Hz 关节 PD 控制目标。

第一阶段用地面真值接触训练跟踪器，并在与动作片段空间对齐的楼梯、缺口、踏脚石、攀爬物和窄梁上训练。通过课程式状态初始化，机器人先从动作末端附近开始学习，能完成片段后再逐步向前扩展起点的阶段。这样，跟踪器先掌握“给定接触时如何动全身”，为后续规划器提供可靠的执行器。

2. 以注意力在地形上选择接触点

接触规划器每个控制步为九个体部位输出未来 1.5 秒内的下一个接触目标与占用概率。它接收两路输入：一路是五步本体感觉历史、三维持目标命令；另一路是围绕机身采样的 17×11 高度点，共 187 个三维地形点。本体步态、机器人姿态与目标会共同决定注意力应该落在哪一块地形上。

地形编码器使用两个 5×5 卷积层，通道数依次为 1、16、48，并保留逐点线性特征构成注意力的键和值。本体历史、目标命令以及 64 维池化地形特征先融合为 96 维共享向量，再由九个体部位各自的嵌入通过特征级线性调制生成九个查询。

注意力模块采用 96 维、32 头、单层结构。对每个身体部位，网络在 187 个地形点上得到亲和权重；解码阶段按温度缩放并归一化后保留前 k 个点。定量评估取 k=1，因而每条接触命令都直接落在实际观测到的地图点上，而不是落在三维自由空间。整个注意力规划器含 786,993 个参数。

规划器的监督标签来自成功轨迹的事后接触提取。系统从每条轨迹向后扫描，把竖直力超过 1 N 的接触起始视为有效事件，并丢弃短于 10 个控制步、即 0.2 秒的短暂接触。对每个时刻，它把未来 1.5 秒内的下一接触变换到当时的机身偏航坐标，只保留位于局部扫描范围中的目标。

由于梯级等薄结构可能落在网格边界，作者没有使用 one-hot 单元，而是把真值接触写成以 0.1 m 为带宽的三维高斯分布：

$$p^{*}_{b,i}=\frac{\exp\left(-\|\mathbf h_i-\mathbf p_b^*\|_2^2/(2\sigma_a^2)\right)}{\sum_{j=1}^{LW}\exp\left(-\|\mathbf h_j-\mathbf p_b^*\|_2^2/(2\sigma_a^2)\right)}$$

该式表示：距离真值接触越近的地形点获得越大监督权重。规划器同时输出地形点亲和分布 $\alpha_{b,i}$ 和该部位是否会发生接触的概率 $\hat c_b$，总损失由掩码位置交叉熵与二值交叉熵组成：

$$\mathcal L_{\mathrm{planner}}=-\frac{\sum_{n,b}c_{n,b}^*\sum_i p_{n,b,i}^*\log\alpha_{n,b,i}}{\max(1,\sum_{n,b}c_{n,b}^*)}-\frac{1}{9N}\sum_{n,b}\left[c_{n,b}^*\log\hat c_{n,b}+(1-c_{n,b}^*)\log(1-\hat c_{n,b})\right]$$

第一项只在有有效未来接触的样本和部位上监督“落在哪里”，第二项则在九个体部位上监督“是否会接触”。这种双重监督避免了模型把所有部位都预测为非接触，也避免在没有接触的样本上强行回归位置。

3. 从动作接触到规划接触的渐进切换

第二阶段不让规划器一出现就完全接管控制。每个环境在每个控制步以概率 $\eta_{\mathrm{obs}}$ 使用规划器接触，否则使用参考接触；奖励中也逐步降低三个参考接触项权重并提高规划接触项权重。两条退火曲线由同一形式描述：

$$\eta_\xi(u)=\begin{cases}0,&u\le u_\xi\\\frac{u-u_\xi}{N_{\mathrm{ann}}},&u_\xi<u<u_\xi+N_{\mathrm{ann}}\\1,&u\ge u_\xi+N_{\mathrm{ann}}\end{cases}$$

其中 u 表示训练进度，$u_\xi$ 是该项开始切换的时刻，$N_{\mathrm{ann}}$ 是退火长度。输入与奖励使用不同起始点，使跟踪器先适应规划器偶尔给出的目标，再逐渐把优化重点转移到主动实现预测接触。该设计保留了动作数据对全身时序的指导，同时让规划器学习可被跟踪器真正执行的接触。

第二阶段中，跟踪器与规划器协同训练。规划器从跟踪策略产生的成功 rollout 回放缓冲区取监督数据，跟踪器则同时接收参考接触和预测接触。接触不是插值过渡，而是在每个环境中整组选择参考或预测，避免产生既不自然又不可执行的混合目标。

4. 第三阶段：用成功经验形成闭环

第三阶段加入程序生成的目标到达地形，包括随机朝向平台、踏脚石、缺口、不同宽度托盘、窄梁、可攀爬障碍和不同梯级间距的梯子。这些地形没有对应参考动作，机器人只接收局部地图、本体状态和目标命令。规划器先给出接触，控制器执行接触并接受目标奖励与规划接触奖励，随后把成功轨迹重新标记为规划器监督数据。

规划接触奖励要求实际接触贴近预测接触。若 $\mathbf p_b^{\mathrm{exec},B}$ 是执行后的接触位置，$\hat{\mathbf p}_b$ 是规划目标，$m_b$ 表示有效目标掩码，则奖励为：

$$r_{\mathrm{planned}}=\exp\left(-\frac{\sum_b m_b\|\mathbf p_b^{\mathrm{exec},B}-\hat{\mathbf p}_b\|^2}{\sigma_c^2\max(1,\sum_b m_b)}\right)$$

该式使用高斯核对多体部位接触误差做平均惩罚；当目标为空时，分母下界保证数值稳定。目标推进项负责让机器人靠近指定位置，站立项则在到达后奖励脚部接触、躯干倾角和关节偏离共同满足的稳定姿态：

$$r_{\mathrm{move2goal}}=(1-g_{xy})g_v+g_{xy}g_z$$

其中 $g_{xy}$ 表示水平距离是否小于 0.5 m，$g_v$ 表示机器人是否以不超过上限的速度朝目标移动，$g_z$ 则针对起身地形容许目标高度附近的竖直运动。另有站立奖励要求水平、竖直和朝向误差同时落在阈值内。基于这些奖励，第三阶段能在没有新动作片段的情况下扩展原技能组合。

flowchart LR
  A["人体动作数据"] --> B["接触感知重定向
关节轨迹与接触标签"]
  B --> C["Stage 1
接触条件全身跟踪器"]
  C --> D["Stage 2
注意力接触规划器"]
  D --> E["规划接触与参考接触渐进切换"]
  E --> F["Stage 3
程序地形目标到达微调"]
  F --> G{"成功 rollout"}
  G -- "事后接触标签" --> D
  F --> H["部署策略"]
  I["LiDAR 神经地图"] --> D
  J["本体感觉与目标命令"] --> D
  H --> K["双脚 双膝 双手 双肘 骨盆"]
  K --> H
      

5. 面向薄结构的 LiDAR 神经地图

接触规划要求毫米级可用的地形结构，但户外 LiDAR 点云稀疏且带噪。作者把每帧点云投影到局部网格，每个网格保留最高点，再用卷积网络对每个网格在三种模式中选择：保留实测高度、取邻域平均、或丢弃并留空。三种模式的 logits 分歧被解释为不确定性，使网络可以适应不同扫描稀疏程度。

全局融合还加入面向悬空结构的先验。如果一个新预测落在已有高置信预测的同一网格，且高度低超过 0.15 m，系统会丢弃它，除非该点的仰角高于负 40 度。该规则让早期扫描看到的梯子横杆不会被后来只照到地面的近距离扫描覆盖。地图分辨率为 3 cm，局部范围覆盖重力对齐 LiDAR 坐标系下的 6 m×3 m。在 Jetson Orin NX 的 CPU 上，每个 10 Hz、20,000 点扫描可在 30 ms 内更新。

这是规划器能在真机上预测薄梯级接触的重要前提。若只使用粗糙高程图，注意力即使选择了正确方向，也可能因为网格缺失而无法产生可执行落点。

实验设计与主要结果

仿真实验把地形分为三组。参考锚定地形用于测试动作保持能力；目标到达地形来自第三阶段程序生成，可用于测试第二阶段策略的零样本迁移；未见地形加入障碍组合、无关干扰物和粗糙表面，用于测试技能接续、无关几何抑制和不规则支撑面通过能力。前两组地形又按支撑密度与所需身体部位分为四类。

类别级比较对每种方法、每类地形汇总 3,000 个回合，覆盖三个评估随机种子。曲线和置信区间衡量评估不确定性，而不是不同训练种子间的波动。成功标准通常是机器人到达活动目标水平 0.5 m 内；坐、站与起身转换还要求竖直误差小于 0.1 m。人工复合路线额外要求达到目标高度、不落入坑内且不越出通道。

第一个消融检验接触命令是否足以驱动全身技能。只给接触的条件跟踪器在参考地形的四个类别中成功率均不低于 98.5%，额外输入参考根节点与关节运动学没有稳定提升。这个结果支持了论文的中心假设：对这批动作，高维全身轨迹并不是跟踪器执行技能的必要接口。

第二个消融比较注意力规划器与参数规模相近的多层感知机基线。后者直接对展平高度图回归九个体部位接触。两者参数分别为 786,993 和 833,322，使用相同监督与地形点解码器。完整微调后，注意力版本在目标到达类别、未见组合与干扰物场景中更高，尤其稀疏全身支撑和干扰物最受益。

表格 1 汇总了系统关键规模与运行参数；这些数字也说明本文并非只提出抽象表示，而是把网络、频率和真机计算约束都落到了可执行配置。

第三个消融检验第三阶段强化学习微调。相对于仅第二阶段策略，完整系统在保持参考地形能力的同时改善了所有目标到达与未见类别。提升最大的类别是稀疏全身地形，成功率增加 54.8 个百分点。这说明当多个肢体必须在狭窄支撑上协同落点时，仅靠参考地形上的规划器不够，目标到达经验能显著重塑接触选择。

与最接近的 MGMT 方法比较时，本文在全部 11 个地形类别上成功率更高。MGMT 使用扩散模型生成全身动作，再由跟踪器跟踪完整参考运动学；本文则显式预测未来接触点。作者指出，全身轨迹本身不保证关键肢体最终落在支撑面上，而接触目标把地形对齐变成直接监督对象。

最能说明技能组合能力的是八条人工复合路线。每条路线把多个障碍类型连续拼接，每条路线、每种方法评估 1,000 个回合。本文平均成功率 92.5%，MGMT 为 58.8%，并且本文在八条路线中全部更高。差距并非来自单一地形，而是来自机器人能否在单次通过中连续转换行走、攀爬、爬行和起身等模式。

真机实验使用 Unitree G1，机载 Livox MID-360、Jetson Orin NX，并运行 DLIO 状态估计、神经地图和策略推理，不依赖外部计算或感知。机器人展示了楼梯、梯子、箱体、坐站、起身和复合地形通过。相同地形上，目标位于前方、后方或要求朝左、朝右时，策略会选择迈上、坐下、全身攀爬或侧向攀爬等不同模式，说明输出不是“识别地形后调用固定技能”的有限状态机。

恢复实验同样值得关注。面对起身失败、跳下姿态错误或感知误差导致的倾倒，策略能从地面重新起身并继续；在梯子卡住时，它会反复尝试脱困。这些轨迹不出现在原始动作数据中，属于强化学习执行过程中形成的纠正行为。

训练代价与工程实现

三个阶段均在 Isaac Lab 中训练。第一阶段约用 3 张 RTX 4090 训练 1 天；第二阶段约用 2 张训练 1 天 21 小时；第三阶段约用 4 张训练 2 天 6 小时。跟踪器采用定制近端策略优化，规划器则在跟踪器产生的 rollout 上做监督学习。第三阶段每个 PPO 迭代额外执行十次规划器优化更新，使规划器学习与策略探索解耦。

训练中随机化摩擦、恢复系数、躯干质量与质心偏移、关节刚度和阻尼、默认关节位置偏移，并对演员观测加入噪声。高度扫描还加入逐步高斯噪声和每回合高度偏置，用于模拟地图高程漂移。第三阶段地形覆盖十级难度，机器人到达目标并成功完成回合后晋级，最小合格目标距离超过 1 m 时降级。

这些细节说明方法的模块关系相当紧密：接触标签由动作重定向产生，规划器依赖高质量地图，跟踪器依赖接触奖励，第三阶段又依赖成功判定生成新标签。任一环节定义不一致，都可能产生“规划点在地图上、执行点却偏离支撑面”的系统性误差。

讨论：为什么接触比完整轨迹更适合做接口

接触接口的优势首先来自维度约束。完整全身参考同时规定根节点、关节和时序，接近这些数值并不能保证关键肢体真正落在支撑面上。接触只规定物理交互中的关键事件，把其余自由度交给控制器优化，因此同一组接触可以有多种动作实现。

其次，接触目标天然连接感知和动作。注意力在高度图上输出归一化权重，既可用于判断支撑区域，也可通过解码产生可执行位置。这个过程中，网络无需先回归自由空间中的三维轨迹，再检查轨迹是否撞地或悬空；所有候选点都来自已观测地形。

再次，接触为目标条件留出空间。相同箱体可能允许坐下、踩上、撑手翻越或侧向攀爬，差别取决于目标位置与朝向。显式接触规划把“环境几何提供哪些可能交互”和“当前任务要求哪种交互”放在同一个查询中，因而比地形类别到技能标签的映射更灵活。

最后，成功 rollout 的事后标注提供了自监督扩展路径。动作数据没有覆盖的地形，只要控制器偶然找到可执行接触并完成任务，就能被回收为规划器训练样本。这样，强化学习不是只优化一个不可解释的策略，而是在帮助构造新的接触监督。

局限分析

作者明确承认，当前感知与接触表示主要面向地形中心的二维半接触。地图能够表达楼梯、箱面和横杆高度，却难以完整描述头顶接触、悬挂、绕体侧向操作或真正三维空间中的任意相互作用。若人形机器人需要抓住上方结构或进行灵巧操作，仅靠局部高度图不足。

第二项作者局限是系统只处理局部目标条件移动，不负责全局导航。真机复合地形中部分路线需要人工指定中间目标点，策略解决的是从一个局部目标到下一个局部目标的接触与动作，而不是在未知大环境中自主规划目标序列。

第三项限制来自接触序列的表达能力。后空翻与竖直跳跃可能拥有本质上相同的起跳和落地接触序列，却需要完全不同的空中身体运动。接触接口缺少这类没有可区分接触事件的空中动态信息，因此无法单凭接触区分动作意图。

除作者陈述外，本文的真机验证以多场景能力展示和恢复案例为主，缺少覆盖全部地形类别、相同回合数与相同随机化设置的大规模真机定量基准。仿真中对每种方法每类地形使用数千回合，真机规模明显较小，两者不能直接等同。

此外，没有公开训练代码、模型或完整数据管线会限制复现。复合动作重定向、成功 rollout 回收、接触标签阈值、两套评论家和真机地图融合需要一致实现，任何关键预处理差异都可能改变结果。论文提供了较多结构参数与训练配置，但仍不足以仅凭文本重建系统。

总结与展望

本文最重要的贡献不是单独增加一个注意力模块，而是重新定义了动作数据在分层控制中的用途。人体动作不再是部署时逐帧跟踪的轨迹，而是训练阶段学习接触先验的样本来源。规划器从地图预测九个体部位的未来接触，跟踪器把接触实现为协调动作，第三阶段再以环境中的成功经验更新两者。

这一框架使单一策略在部署时不需要参考动作或技能标签，仍能完成攀爬、爬行、起身与组合通过。仿真中，接触条件跟踪器在参考地形保持高成功率，注意力规划器优于相近规模的多层感知机，第三阶段显著增强稀疏全身地形能力，八条复合路线平均成功率达到 92.5%。真机则验证了全机载感知、目标条件接触选择与失败恢复。

后续工作可把接触从地形表面扩展到任意三维结构，联合语义目标与全局规划器，并在接触序列无法区分意图时加入动作语义。若这些方向成立，行走、攀爬、恢复与操作可以被统一理解为身体—环境交互序列，而不是彼此独立的技能库。

金句

当参考动作只剩下接触，机器人获得的不是一条必须复刻的轨迹，而是一组可以与环境重新协商的物理约束。