PanTact：用可穿戴接触接口教会人形机器人全身灵巧性

论文：PanTact: Teaching Whole-Body Dexterity with a Wearable Contact Interface（arXiv:2610.12558，arxiv.org/abs/2610.12558，v1 于 2026-10-08 提交，主分类 cs.RO）
作者：Xiaomeng Xu、Han Zhang、Zhian Ruan、Xiaofeng Guo、Jinkun Cao、Ruihan Yang、Carmelo Sferrazza、Shuran Song、Guanya Shi（Stanford University、Amazon FAR、Carnegie Mellon University；Ruihan Yang、Carmelo Sferrazza、Shuran Song、Guanya Shi 为 Equal Advising）
代码状态：未开源。论文与项目页 pantact.github.io 只提供视频与硬件说明，截至本次精读没有公开代码仓库，以标题加作者名在 GitHub 检索也没有官方实现。系统的上下游组件各有出处：采集接口延续 UMI 与 Humanoid UMI（HoMMI）的硬件谱系，稠密全身跟踪器复用 SONIC，稀疏接触跟踪器由本文在仿真中自训。下文公式编号、超参与实验数字均对应 arXiv v1 全文与附录。

图 1：论文图 1。(a) 可穿戴采集接口在记录第一视角视觉与运动的同时记录全身接触；(b) 接触作为跨 embodiment 的接口：策略预测接触目标，全身控制器挑选合适的机器人表面去兑现；(c) 部署在 Unitree G1 上的抱持、清扫、推行等全身灵巧技能。

一句话总结

PanTact 把「接触」而不是关节轨迹当作人到机器人的迁移货币：可穿戴接触贴片记录人在何时、用身体何处碰了世界，视觉运动策略预测带开关的接触目标，全身控制器自行决定用机器人的哪块表面去兑现这些目标，于是一台没有加装任何体表传感器的 Unitree G1 学会了环抱、扫拢、膝推、负重行走这类超出双手的操纵能力。

研究背景与动机

人操纵世界从来不只靠手：搬大件时手臂与躯干一起环抱，收拾桌面时前臂把多个物体扫到一处，双手占满时膝盖顶开挡路的箱子。作者把这种能力命名为全身灵巧性（whole-body dexterity）：用身体上任何合适的表面完成操纵任务。人形机器人在形态上与人同源，拥有数十个驱动自由度和遍布全身的潜在接触面，但主流的 loco-manipulation 研究把操纵限定在双手，把其余身体留给行走与平衡，并刻意回避身体与环境的接触，等于闲置了人形身体大部分的操纵潜力。

要把这份潜力用起来，需要让全身运动与跨身体表面的接触序列协同起来，而人类演示天然提供了这种协同的样本。问题随之变成：人形机器人能否直接从人类演示中学会全身灵巧性？作者指出，现有模仿学习管线采集与模仿的对象是末端执行器（EEF）轨迹或关节角，接触信息在「演示采集—策略预测—机器人执行」三个环节里都没有被显式携带，于是延伸到全身灵巧性时会撞上三个互相牵连的难点。

第一个难点是采集：现有接口只记录 EEF 运动或关节角，不直接测量身体接触发生在何处、何时。第二个难点是迁移：只给 EEF 目标则身体接触完全未定义，而把全身关节重定向到机器人又会因为人与机器人形状和比例不同而改变接触位置。第三个难点是执行：为跟踪运动参考或 EEF 目标而设计的控制器，缺少「在身体上达成接触目标」这一显式目标，却又必须在维持运动跟踪与平衡的同时把接触目标塞进去。

作者的关键观察是：接触是一种以操纵为中心、可以与 embodiment 特定运动分离的信息。接触的位置与时机描述任务层面的物理交互，而用哪块身体表面、何种关节构型去产生它，则取决于机器人本体。接触还标出了演示中哪些身体运动必须被保留，使机器人可以只学任务关键的接触，而不必复刻自由空间中的身体姿态。由此他们把接触用作跨 embodiment 接口：在人身上测量接触，用策略预测其期望状态与位置，再由控制器跟踪那些处于激活状态的接触目标；由于激活目标不绑定到特定机器人连杆，控制器得以自行挑选适合本体的构型去接触并保持平衡。

PanTact 即围绕这条接口搭建的完整系统，包含三个组件：接触完备的无机器人采集系统（在第一视角感知与双臂 UMI 夹爪之上叠加可重构的模块化接触贴片）；接触预测型全身操纵策略（观测中几何地遮蔽身体区域，联合预测 EEF 轨迹与逐传感器的接触目标）；接触感知型全身控制器（给出三种公式化实现：上身接触感知 IK、由稠密跟踪器执行的全身 IK、以及直接稀疏接触跟踪）。系统最终部署在 29 自由度的 Unitree G1 上，且机器人侧不添加任何体表接触传感器。

预备知识：三条技术脉络在此汇合

第一条脉络是无机器人演示采集。UMI 用便携手持夹爪摆脱了对机器人本体的依赖，其后续工作加上头置相机形成第一视角观测，再往后的人形版本进一步记录身体或关键点轨迹。这些接口的共同盲区是都不测量身体接触信号，PanTact 的贴片正是补在这一空位上。

第二条脉络是扩散策略与第一视角表征。扩散策略以动作块（action chunk）形式输出未来一段动作，配合 DINO 一类视觉骨干可以端到端地从图像学到动作；HoMMI 等工作进一步用 3D 第一视角点云降低视角差异的敏感度。PanTact 沿用这一架构，但把点云里属于身体的部分几何地遮蔽掉，以缩小人到机器人的外观与视角鸿沟。

第三条脉络是全身控制。一类方法用优化（差分 IK 的二次规划）把任务空间指令映射到关节速度，另一类方法用强化学习训练稠密运动跟踪器（如 SONIC）执行全身关节参考。前者可解释、无需训练但受限于模型精度，后者稳健但要求参考轨迹足够合理。PanTact 的三种控制公式化实现，正是把接触目标分别接入这两类执行器的不同组合方式。

方法详解

模块化接触贴片。现有全身触觉皮肤多为特定机器人定制，而 PanTact 要服务不同演示者与不同身体区域，因此把 sensing 表面做成可拼装的小模块。每个模块是 44×44 mm 的单元，承载单个力敏电阻（FSR）；一块 50×50 mm 的自研 PCB 可同时以 1 kHz 流式读取最多 16 路 FSR。每路 FSR 与一个固定 1 kΩ 电阻串联成分压电路，由 12 位 ADC 以 8 倍过采样读取。模块之间走多主从、菊花链式的 RS-485 总线，采用带 CRC 校验的请求-应答协议，也支持 USB 直读。模块四边各有连接槽，压入式磁吸连接件让模块可以拼成任意形状与面积的贴片；作者设计了三种连接件：桥接相邻 sensing 模块的 full 连接件、把贴片固定到身体并提供线缆应力释放的 strap 连接件、以及安装 HTC Vive tracker 以跟踪贴片 6-DoF 位姿的 tracker 连接件。论文展示了手臂与膝盖两种贴片形态。

图 2：论文图 2。传感器模块、连接件模块与绑带模块磁吸拼接成任意形状与范围的贴片；图中给出 UMI 夹爪加 Vive tracker 的组合，以及手臂与膝盖贴片的拼装示例，磁铁置于圆形凹槽中。

接触检测与定位。FSR 的阻值会随温度与安装压力漂移，因此作者不用绝对阈值，而是相对每通道的自适应基线做二值化。设通道 i 的原始 ADC 读数为 r，运行基线为 β，则演示中的接触状态为

$$c_{t,i}=\mathbf{1}\!\left[\,\beta_{i}-r_{t,i}>\max(0.35\,\beta_{i},\,r_{\min})\,\right] \tag{8}$$

其中 r_min 是固定噪声底，0.35 β 让阈值随基线自适应。每块贴片配一个 tracker，刚体变换把每个传感器中心映射到跟踪世界系；在每个同步时间步存下一个 N×4 的接触数组，N 为 FSR 数量，每行是该传感器的二值接触状态与 3D 位置。这些序列就是后续策略接触目标预测的监督信号，二值状态则告诉控制器何时该跟踪接触位置。

同步与数据形态。头部立体相机（ZED X Mini）与两个鱼眼腕部相机（ZED X One S）以 60 fps 记录图像，头与双腕的 HTC Vive tracker 以 250 Hz 记录位姿，夹爪宽度以 1 kHz 记录；所有流共享同一单调时钟，在 NVIDIA Jetson AGX Orin 上记录，后处理时对齐到 60 Hz 的相机时间线，训练时再按 20 Hz 采样。相机分辨率统一为 960×600，立体深度由 ZED 自带的神经深度模型离线计算，反投影成点云后套用下文的身体遮蔽。一条演示最终形如式 (7) 的同步序列：第一视角图像与点云、双腕图像、头部位姿、双 EEF 位姿与夹爪宽度，以及逐传感器的接触三元组。

与 embodiment 无关的观测空间。全身接触常常发生在夹爪后方、腕部相机视野之外，第一视角能看到更广的场景与全身交互，但代价是更大的人机鸿沟：演示时演示者身体频繁入镜，造成训练与部署的外观不一致；人与机器人身高差异还带来视角错位。作者沿用 HoMMI 的 3D 第一视角表征，并几何地遮蔽身体区域：每个夹爪坐标系与每块接触贴片各定义一个朝向身体的半空间（手臂起自夹爪之后、身体表面起自贴片表面之后），用这些半空间的交集近似身体区域，并在第一视角视觉编码器的注意力层中遮蔽对应点。这一构造不需要任何一方的外观模型，且可以扩展到任意数量的贴片。策略的整体观测为

$$\mathbf{o}_{t}=\left(P^{\mathrm{ego}}_{t-h+1:t},\;I^{L}_{t-h+1:t},\;I^{R}_{t-h+1:t},\;\mathbf{x}^{L}_{t-h+1:t},\;\mathbf{x}^{R}_{t-h+1:t}\right) \tag{1}$$

其中 h=2 为历史步数，P 为遮蔽后的第一视角点云，I 为双腕图像，x 各含一个 EEF 位姿与夹爪宽度。实现上作者在预训练的 DINO-v3 视觉 Transformer 上微调，并为点云 patch 特征附加其 3D 坐标的正弦编码。

图 3：论文图 3。接触预测型全身操纵策略以身体遮蔽的 3D 第一视角观测、腕部图像与本体感知为输入，预测 EEF 轨迹与接触目标（位置加二值状态）；接触感知型全身控制器协调全身运动，跟踪 EEF 指令并用合适的机器人表面兑现激活的接触目标。

接触预测的动作空间。策略采用扩散策略架构，运行频率 10 Hz，预测 H=16 步的动作块，每步动作为

$$\mathbf{a}_{t}=\Big(\boldsymbol{\lambda}_{t},\;\mathbf{x}^{L}_{t},\;\mathbf{x}^{R}_{t},\;\{(\hat{c}_{t,i},\;\hat{\mathbf{p}}_{t,i})\}_{i=1}^{N}\Big) \tag{2}$$

包含头部的 3D look-at 点 λ、目标 EEF 位姿与夹爪宽度 x，以及接触目标集合。二值状态 ĉ 决定接触位置 p̂ 是否为跟踪目标：只有激活目标（ĉ=1）要求机器人在该位置与世界接触；非激活目标（ĉ=0）不要求机器人复刻对应传感器的自由空间轨迹，从而避免控制器被无关节的接触过度约束。观测历史与动作块内的点云、本体位姿、EEF 位姿与接触位置都表达在同一坐标系下——相对最近一次观测到的左夹爪位姿——以降低人机运动学差异的敏感度。去噪头为 DiT，训练用 ε 预测，推理用 16 步 DDIM 采样。

任意表面接触目标函数。全身控制器要把策略给出的 EEF 轨迹与接触目标变成机器人全身运动，且只在 ĉ=1 时跟踪接触位置。设 q 为机器人构型，B 为候选机器人连杆集合，d_b(p,q) 为点 p 到连杆 b 碰撞表面的距离，则指令接触 p 到机器人的邻近距离定义为软最小

$$\mathrm{d}(\mathbf{p},q)=-T\log\sum_{b\in\mathcal{B}}\exp\!\big(-\mathrm{d}_{b}(\mathbf{p},q)/T\big) \tag{3}$$

其中 T=0.02 m 控制平滑程度。控制器对激活接触驱动 d(p̂,q) 趋于零。这个软最小形式的关键在于它不指定由哪块表面完成接触：梯度自然流向当前最近的那几块表面，把「用哪块身体」的选择权留给控制器。

虚拟接触目标。仅到达接触位置并不规定按压力。作者沿用虚拟目标原则：把控制器设定点沿按压方向推入物体内部，当物体在接触处约束住机器人表面时，残余跟踪误差经底层控制器转化为按压力。部署时对激活目标做偏移

$$\tilde{\mathbf{p}}_{i}=\hat{\mathbf{p}}_{i}+\hat{c}_{i}\,\delta\,\mathbf{n}_{i},\qquad \delta=\min\!\left(\frac{F_{\mathrm{des}}}{k_{\mathrm{virt}}},\;\delta_{\max}\right) \tag{4}$$

其中 n 为指向物体内部的单位按压方向，F_des 为名义单点按压力，k_virt 为设计刚度，δ_max 限制偏移量。控制器跟踪 p̃ 从而鼓励产生按压力，这也是机器人侧无需真实触觉传感器仍能「抱得住」的机制所在。

公式化实现 I：上身接触感知 IK。最直接的做法是把接触任务加进差分 IK 的二次规划：

$$\min_{\dot{q}}\;\;\sum_{k\in\mathcal{T}}w_{k}\big\|J_{k}(q)\dot{q}-K_{k}e_{k}(q)\big\|^{2}+\varepsilon\|\dot{q}\|^{2}\quad\text{s.t.}\quad \dot{q}\in\mathcal{C} \tag{5}$$

任务集 T 含 EEF 位置与姿态跟踪、名义姿态正则与激活接触跟踪；ε 惩罚关节速度，C 施加关节位置与速度限。对每个激活接触 p̂，求解器在每块候选表面上找最近点 s_b，保留最近的三块表面，其接触任务权重正比于 exp(−d_b/T) 并在所选表面上归一化，每块各带一个把 s_b 拉向目标的位置任务。附录给出具体权重：EEF 位置 500、姿态 200、接触任务 250、每个关节组姿态正则 1；关节速度用增益 0.95 的速度阻尼限幅，手臂与腰 1 rad/s、腿 2 rad/s。解出的关节速度积分成手臂关节位置目标，腿部交给站立控制器。该公式化实现不需要训练数据也不需要仿真，但只能做上身任务、腿固定。

公式化实现 II：WBIK + SONIC。为把接触跟踪延伸到下身，作者把 QP 扩展到全身自由度，并复用现有 SONIC 稠密运动跟踪器执行。当 EEF 与接触目标在当前支撑面内可达时双脚保持落地，求解器通过下蹲与侧倾调整姿态；否则指令迈步：骨盆水平偏离支撑中点超过 0.12 m 且持续 0.2 s 时触发踏步，释放后脚的 SE(3) 约束，跟踪一段 0.4 s 的摆线摆动、峰值抬脚 0.06 m，步长按骨盆漂移方向取 0.10–0.25 m，摆动期位置与姿态权重为 1000 与 100，落地后固定该脚并强制 0.4 s 冷却。全身构型轨迹作为稠密参考交给 SONIC 跟踪全部关节目标。该方案启用下身接触与行走，但稠密参考规定了大量与任务无关的姿态细节，跟踪它们会与 EEF 和接触精度互相竞争；且 IK 求解器不建模 SONIC 的执行极限，可能产生动力学上不可行的参考。

公式化实现 III：稀疏接触跟踪器。为在执行期保留全身协调的自由度，作者训练一个直接跟踪稀疏 EEF 与接触目标的控制器，不经过中间稠密参考。跟踪器运行于 50 Hz，输出 29 个关节位置目标给 PD 控制；输入含本体感知（关节位置与速度、根部姿态与角速度、上一动作）与一个目标块：被遮蔽的未来关节目标、EEF 目标，以及 S 个接触槽——上身版本 S=8（每前臂 4 个）、全身版本 S=16（每膝再加 4 个），每槽含机器人根部系下的 3D 点与接触状态标志，另有有效性掩码指明本回合使用哪些槽。部署时控制器只收到 EEF 目标与激活接触目标，其余目标保持遮蔽。

事后接触标注。训练这样的控制器需要（目标, 运动）配对且接触目标必须可达，标准动捕数据并不直接提供。作者的构造方法是：在仿真中用专家跟踪器回放参考运动，沿实际达成的轨迹在可接触的身体碰撞表面上均匀采样目标点。该标注同时施加于训练 SONIC 所用的通用动捕数据集（提供广域全身运动覆盖）与本文的人类演示（用 WBIK+SONIC 在轨迹扰动下执行，提供任务特定覆盖）。训练时每个回合从片段的候选池抽取 S 个槽、随机决定激活数量，每个被选槽再随机标为 in-contact（紧跟踪）或 pre-contact（软接近）；于是由回放产生的接触目标反过来成为策略要学会满足的指令，无需人工标注即获得监督。

训练目标与随机化。奖励为 r = r_track + r_contact + r_reg。对有效槽集合 V，接触奖励为

$$r_{\mathrm{contact}}=w\sum_{i\in\mathcal{V}}\left[0.3\,c_{i}\,e^{-\mathrm{d}_{i}^{2}/\sigma_{a}^{2}}+0.1\,(1-c_{i})\,e^{-\mathrm{d}_{i}^{2}/\sigma_{s}^{2}}\right] \tag{6}$$

其中 d_i = d(p̂_i, q)，c_i 区分 in-contact 与 pre-contact 目标，σ_a=0.05 m 用于紧跟踪、σ_s=0.25 m 用于软接近，权重 w 在训练过程中递增，使接触跟踪在基本运动跟踪能力具备之后再引入。r_track 奖励身体位置、姿态、速度与 EEF 跟踪，r_reg 惩罚动作突变、关节限违反与未指令接触。训练用 PPO，在 4096 个并行仿真环境中跑 30,000 次迭代；域随机化覆盖静摩擦 [0.3, 1.6]、动摩擦 [0.3, 1.2]、恢复系数 [0, 0.5]、基座质心偏移至多 (2.5, 5, 5) cm、关节零位偏置 ±0.015 rad、PD 增益 ±10%、连杆质量乘子 [0.8, 1.5] 与基座质量偏移 [−1, 3] kg，并每 1.5–3 s 施加至多 0.4 m/s 的骨盆速度扰动。该公式化实现直接学会全身接触兑现，代价是仿真训练与对训练分布的依赖。

flowchart TD
  H[人类演示者
头置 stereo 双腕鱼眼 Vive 250Hz UMI 夹爪 1kHz] --> P[模块化接触贴片
44mm FSR 磁吸拼接 RS-485 1kHz]
  H --> S[Jetson AGX Orin 同步记录
单调时钟 对齐 60Hz 训练采样 20Hz]
  P --> B[自适应基线二值化
N x 4 接触数组 状态加 3D 位置]
  S --> B
  B --> O[遮蔽第一视角点云
半空间交集 在注意力层遮蔽身体]
  O --> D[扩散策略 10Hz DiT 去噪
历史 h=2 动作块 H=16]
  D --> A[动作块
look-at EEF 位姿 夹爪宽度 接触目标]
  A --> C{全身控制器 三选一}
  C -->|免训练| K1[Upper-Body IK QP
最近三表面 权重 exp 负距离比 T]
  C -->|稠密参考| K2[WBIK 加 SONIC
全身 QP 出参考 踏步逻辑执行]
  C -->|稀疏直接| K3[Sparse Contact Tracker
50Hz 29 关节 PPO 4096 环境]
  K1 --> V[虚拟接触目标
沿按压方向偏移 delta 产生按压力]
  K2 --> V
  K3 --> V
  V --> G[Unitree G1 29-DoF
无体表传感器 异步推理 50Hz 重采样]

部署链路。策略推理与底层控制异步运行：每个预测动作块以其源观测的时间戳标记，调度器丢弃过期步、用最新预测替换重叠目标，并把指令重采样到跟踪器的 50 Hz 控制率。策略的动作表达在源观测时刻的左夹爪坐标系下，执行时用 Super Odometry 的位姿估计变换到世界系——该里程计利用 G1 自带的头置激光雷达-惯性单元，使整机无需外部动捕即可在真实场地运行。

实验结果

评测围绕四种能力展开：跨 embodiment 接触迁移（所有任务都需要）、非抓握上身操纵（环抱与扫拢）、下身 loco-manipulation（行走、推与平衡同时发生）、以及全身接触时序（随任务推进在不同身体区域建立、维持与释放接触）。对照为两个不含显式接触目标的位姿接口：Humanoid UMI（策略只预测 EEF 动作、控制器只跟踪 EEF 轨迹）与 Humanoid UMI++（额外预测并持续跟踪膝部位姿，每个位姿目标绑定固定连杆）。所有硬件实验使用带夹爪与相机的 29-DoF Unitree G1，各方法在同一批演示上训练、从匹配的测试构型评测。

图 4：论文图 4，Grasp-and-Embrace。(a) 搭配 Upper-Body IK 的自主 rollout，先抓取小物再用双臂环抱大件；(b) 叠加的测试构型；(c) Humanoid UMI 的典型失败：手臂接触不足托不住大件；(d) 成功率柱状图；(e) 真实 rollout 的跟踪曲线。

Grasp-and-Embrace。机器人先从桌上抓起一个小物体，再用双臂环抱一个大件物体并同时移动两者；100 条演示、20 次 rollout。PanTact（Upper-Body IK）成功率 85%，PanTact（Sparse Contact Tracker）80%，偶发失败来自夹爪没抓中小物。Humanoid UMI 则始终托不住大件：它的控制器只跟踪 EEF 指令，手臂姿态完全未定义；作者还观察到基线的夹爪持续前伸直至接近手臂关节限，可能是累积跟踪误差把观测推出了策略的训练分布。跟踪曲线显示 Upper-Body IK 的 EEF 与激活接触跟踪都准确，稀疏跟踪器误差略大并存在跟踪死区。

图 5：论文图 5，Sweep-and-Stow。(a) WBIK+SONIC 的 rollout：手臂扫拢台面物体、同时下身推与行走；(b) seen 与 unseen 物体组合、柜门开度与机-柜距离变化的测试构型；(c) Humanoid UMI++ 的典型失败；(d) 分阶段与端到端成功率。

Sweep-and-Stow。机器人用手臂把一个或多个直立物体从台面扫入敞口收纳箱，再用下身表面把柜门推上；扫拢得分按入箱物体数计，关门得分对半关以下给 50%、过半给 100%，端到端得分为两阶段得分之积。150 条演示、16 次 rollout，均分于单一 seen、双 seen、单一 unseen、双 unseen 四种条件。PanTact（WBIK+Dense Tracker）端到端成功率 90.63%，而 Humanoid UMI++ 的扫拢与关门阶段都只有 18.75%、端到端为 0。值得注意的不是数字本身而是泛化方式：机器人用手腕、前臂或夹爪侧面扫拢，用膝或脚关门，超出了演示中出现过的前臂与左膝接触。偶发的半关出现在控制器为保平衡而放弃接触目标时；UMI++ 则因缺少手臂正则而漏扫或把物体撞出箱外，手臂更频繁地逼近关节限并伴随迈不出腿、关不上柜门——作者把这归因于人机比例差异：同时跟踪演示的手与膝位姿可能要求机器人难以实现的相对布置。

图 6：论文图 6，Carry-and-Push。(a) WBIK+SONIC 的 rollout：双臂负重行走并用下身推地面上的大箱；(b) 测试场景；(c) Humanoid UMI++ 因接触支撑不足掉落所抱箱子的失败案例；(d) 成功率；(e) 真实 rollout 跟踪曲线。

Carry-and-Push。机器人双臂抱一个箱子走向地面上更大的箱子并用下身把它推前超过 20 cm，成功要求行走全程保住所抱箱子；110 条演示、10 次 rollout（地面箱在左、在右各 5 次）。PanTact（WBIK+Dense Tracker）成功率 90%，Sparse Tracker 60%，Humanoid UMI++ 40%；失败主要是掉落所抱箱子。跟踪曲线的对比很说明问题：UMI++ 持续跟踪膝部位姿因而膝位姿误差很大，而 PanTact 只在激活接触阶段施加腿部接触目标，在那些阶段对指令接触位置的跟随明显更准。

任务	演示 / rollout	对照方法	PanTact 配置	成功率（%）
Grasp-and-Embrace	100 / 20	Humanoid UMI	—	0（始终托不住大件）
Grasp-and-Embrace	100 / 20	—	Upper-Body IK	85
Grasp-and-Embrace	100 / 20	—	Sparse Contact Tracker	80
Sweep-and-Stow 扫拢	150 / 16	Humanoid UMI++	—	18.75
Sweep-and-Stow 扫拢	150 / 16	—	WBIK + Dense Tracker	100
Sweep-and-Stow 关门	150 / 16	Humanoid UMI++	—	18.75
Sweep-and-Stow 关门	150 / 16	—	WBIK + Dense Tracker	90.63
Sweep-and-Stow 端到端	150 / 16	Humanoid UMI++	—	0
Sweep-and-Stow 端到端	150 / 16	—	WBIK + Dense Tracker	90.63
Carry-and-Push	110 / 10	Humanoid UMI++	—	40
Carry-and-Push	110 / 10	—	WBIK + Dense Tracker	90
Carry-and-Push	110 / 10	—	Sparse Contact Tracker	60

表 1：三个真实机器人任务的成功率，数字取自论文 6.1–6.3 节正文与图 4d、5d、6d 的柱状图；Sweep-and-Stow 的端到端得分为扫拢与关门两阶段得分之积。

控制器消融（仿真回放）。作者还在仿真中把演示轨迹回放给三种控制公式化实现，对比有无接触目标两种设置：上身评测取 10 条 Grasp-and-Embrace 轨迹、全身评测取 20 条（Sweep-and-Stow 与 Carry-and-Push 各半），报告逐轨迹中位误差的中位数。结论是加入接触目标后每种控制器的接触表面距离都下降，而 EEF 跟踪精度几乎不受损失；开启接触目标后 Upper-Body IK 的上身 EEF 误差最低，Sparse Contact Tracker 的接触距离最小且在两项指标上都优于 WBIK+SONIC；在全身任务上两个跟踪器呈现权衡——稀疏跟踪器接触距离更低但 EEF 误差更高。这组消融把「接触目标是否值得」与「哪种执行器更适合」两个问题分开回答了。

控制公式化实现	是否需要训练 / 仿真	可用身体范围	执行方式	作者自述短板
I. Upper-Body IK	否 / 否	上身，腿固定	QP 解关节速度积分成手臂位置目标，腿走站立控制器	只能做上身任务
II. WBIK + SONIC	否 / 否（复用已训跟踪器）	全身，含踏步	全身 QP 出稠密参考，SONIC 跟踪全部关节	稠密参考与 EEF/接触精度竞争；参考可能动力学不可行
III. Sparse Contact Tracker	是 / 是（PPO 4096 环境 30k 迭代）	全身，含踏步	50 Hz 直接输出 29 关节目标	依赖仿真训练与训练分布

表 2：三种接触感知全身控制公式化实现的对照，内容取自论文 5.2 节与 6.4 节。

超参	取值	超参	取值
Transformer 深度 / 宽度 / 头数	10 / 768 / 12	训练扩散步 / 推理 DDIM 步	100 / 16
训练 epoch	500	有效 batch size	48
主干学习率	7.5e-5	视觉编码器学习率	7.5e-6
学习率调度	余弦衰减带 warmup	验证集比例	5%
策略频率 / 动作块 / 历史	10 Hz / H=16 / h=2	跟踪器频率 / 关节数	50 Hz / 29
接触槽 S（上身 / 全身）	8 / 16	接触奖励 σ_a / σ_s	0.05 m / 0.25 m

表 3：策略与控制器关键超参，取自论文附录 B、C 的表 1、表 2 与正文。

局限性

作者自述的局限集中在三种控制公式化实现上：Upper-Body IK 不需要训练与仿真，但被限制在上身任务且腿固定；WBIK+SONIC 启用下身接触与行走，但稠密参考规定了与任务无关的姿态细节，跟踪它们会与 EEF 和接触精度竞争，且 IK 求解器不建模 SONIC 的执行极限，可能给出动力学上不可行的参考；Sparse Contact Tracker 直接学会全身接触兑现，代价是仿真训练与对训练分布的依赖——演示覆盖之外的接触配置未必可靠。

第二处作者自述的局限体现在实验观察里：机器人侧没有体表接触传感器，接触是否真正达成只能靠控制回路的间接证据（跟踪曲线与任务成功）判断；失败模式也与此相关，例如环抱时夹爪抓空、控制器为保平衡而只完成半关、以及负重行走中掉落所抱箱子（后两者在 Sparse Tracker 与 Humanoid UMI++ 上更频繁）。虚拟接触目标把按压力寄托在模型化的刚度上，真实物体的 Compliance 变化会直接改变实际按压效果，而系统对此没有闭环观测。

从评测设计看，三个任务的 rollout 数为 20、16、10，unseen 条件只覆盖少量新物体与新布局，结论的统计力度有限；所有实验在一台 G1、室内实验台场景完成，接触贴片在演示侧也只覆盖了前臂与膝盖，躯干、背部、头部的接触交互尚未被采集与验证。把这些接触区域纳入接口在硬件上是拼装问题，在数据与控制器分布上则是新的训练问题。

总结与展望

PanTact 的贡献是一套把接触当作一等公民的完整系统：模块化、可重构、低成本的 wearable 接触贴片解决了「测不到」；与 embodiment 无关、预测接触目标的视觉运动策略解决了「传不过去」；三种接触感知全身控制公式化实现解决了「执行不了」。三者共享同一条接触接口，使得人在演示中碰哪里、何时碰，能够以机器人自己的方式在机器人身上重现，而机器人侧无需任何额外传感器。

这条路线留下的开放问题同样清楚：接触目标的闭环验证（机器人侧廉价触觉或视觉接触估计）、稀疏跟踪器在训练分布之外的接触配置、以及更大接触覆盖与更多任务形态下的数据规模。若接触真能成为跨 embodiment 的通用接口，那么从人类日常活动中采集的接触数据就有可能直接转化为人形机器人的全身技能库——这正是作者希望硬件、学习框架与控制器公式化实现能推动的方向。

金句

「接触的位置与时机规定了完成任务所需的物理交互，而机器人则在自己的物理约束之内，选择如何协调身体去兑现它们。」