Skip to content
←返回论文库

PAPER DEEP DIVE

触觉机器人操控模仿学习

PACE:面向分块插入策略的时序角色触觉条件化

接触密集的精密插入要求机器人把视觉对准与触觉调整结合起来。现有视觉-触觉分块策略通常把触觉反馈压进单一生成通路,持续接触状态、突变接触事件以及动作将造成的未来接触后果只能被隐式混合建模。PACE 将同一条触觉流拆成三种时序角色:用指数平滑的持续接触状态逐层调制动作块生成;用短窗触觉差分构成事件线索,通过门控残差只修正动作块最前面的部分;训练期再从解码器隐状态预测未来触觉增量,以辅助表示学习。该结构保留动作块的时间连续性,同时让慢变的接触阶段和快变的碰撞、卡滞获得不同处理路径。五个真实插入任务平均成功率为 90.7%,比纯视觉和单通路触觉融合基线高 44 个百分点以上;在 ManipulationNet 六种几何与间隙配置上平均成功率为 88.7%,0.1 毫米工业级间隙下仍保持较高成功率。消融显示 Phase、Event 与 Pred. 互补,跨信号实验覆盖六维触觉力、六轴力/力矩和关节电流,跨架构实验表明该原则可用于扩散策略。

论文信息:Zhiyuan Chen、Shixiong Xu、Shuai Chen、Yangwei You,北京小米机器人技术有限公司。arXiv:2610.16308v1。项目页:pace-insertion.github.io。

代码状态:本文尚未提供公开代码。项目页明确表示代码、模型和数据集会在后续发布,因此本解读不虚构源码文件、函数映射或实现细节;涉及网络结构的描述均来自论文正文和图表。

一句话总结

PACE 把一条触觉信号拆成“缓慢变化的接触阶段”“瞬时的接触事件”和“训练期预测未来触觉变化”三种时序角色,再分别用嵌入式条件调制、门控残差修正和辅助预测头接入动作分块策略,使原本只看视觉的 ACT 与 Diffusion Policy 能在高精度插入任务中获得稳定而快速的闭环修正。

研究背景与动机

精密插入是机器人操作中很典型的接触密集任务。机器人需要把销钉、连接器、USB 插头或钥匙送入狭窄孔位,而视觉往往只能看到物体是否大致对齐。真正决定成功与否的,是销钉尖端碰到孔沿之后出现的微小力变化、接触方向变化、卡滞和滑移。相机遮挡、透明或反光表面、标定误差和亚毫米级间隙会让视觉策略在最后几毫米失去可靠信息。

动作分块策略为这个问题提供了较强的动作生成骨架。ACT 通过 Transformer 一次生成一段未来动作,Diffusion Policy 则从扩散过程生成多步动作块。动作块减少了逐步决策带来的抖动,也让策略能够利用历史上下文。然而,标准动作分块主要依赖视觉 token、本体状态和示教分布。触觉输入如果只是被简单拼接进条件向量,模型虽然“看见”了力,却不一定理解当前接触已经进入哪个阶段,也不一定知道这次力突变需要立刻改写块内前几步动作。

作者观察到,触觉信息在控制中并不是以同一种时间尺度起作用。接触状态会随着插孔深度缓慢演进,适合形成连续上下文;碰撞、跨过孔沿和姿态突然偏转则表现为短时差分,需要快速响应;而未来触觉变化又能够作为一种训练监督,迫使策略内部表征提前编码“接下来接触会怎样”。把这三种需求压进一个同质的触觉 token 或单一融合层,容易让慢变量淹没快事件,或者让辅助信号与动作生成的职责混在一起。

PACE 的核心主张因此不是简单地“给 ACT 加触觉”,而是给同一触觉流分配不同的时间角色。Phase 负责表达任务进程,Event 负责局部纠错,Pred. 负责塑造可预测的内部状态。三者共享原始触觉证据,却以不同路径进入网络。这个设计把触觉条件化从一次静态融合,改造成围绕动作块生命周期的动态控制。

PACE三种触觉时序角色与真实插入任务

图1:论文用三种时序角色概括触觉条件化,并展示真实插入任务中的接触场景。

预备知识:动作分块与触觉条件

设当前观测为视觉、本体状态与触觉读数的组合,策略在每个控制时刻输出未来 $H$ 步动作。本文为 ACT 设置的默认动作块长度为 $H=20$,动作维度为 7,控制频率为 20Hz,因此一个块覆盖约 1 秒的未来运动。策略可以只根据块的前几步执行,也可以在执行完整个块后重新观测。动作分块能否适应接触,关键在于块内动作是否还保留被最新触觉纠正的入口。

ACT 的 Transformer 编码器把视觉与状态信息压成上下文,解码器再结合 CVAE 隐变量生成动作序列。PACE 保持这一骨架不变,只在编码器上施加阶段条件,并在生成后的动作块上做局部事件修正。它没有另造一个大型触觉基础模型,而是用很小的模块改变信息流。这个选择让方法可以嫁接到 ACT 与 Diffusion Policy,也使额外参数和延迟保持在可接受范围。

触觉序列记为 $\mathbf{w}_t$。论文实验中的主触觉输入为 6 维信号,并额外测试六轴力/力矩与 7 维关节电流作为替代反馈。网络需要同时处理绝对接触强度、短窗变化量和未来变化量。PACE 用指数移动平均提取慢分量,用差分窗口提取快分量,再用辅助头预测下一步触觉增量。三路信号对应三种明确的时间粒度。

方法详解

一、整体架构:围绕动作块安排三类触觉角色

PACE 的输入仍包含视觉、机器人状态和历史动作。Phase 分支对触觉序列做平滑,得到连续接触状态,再通过逐层 FiLM 仿射参数改变编码器特征。Event 分支使用长度为 $T_w=4$ 的短窗差分,生成与当前接触变化有关的嵌入,再预测动作块前 $h_{\text{corr}}=5$ 步的门控残差。Pred. 分支只在训练阶段存在,从解码器隐状态预测未来归一化触觉增量。

三个角色并非串行流水线,而是在不同层级上同时约束网络。Phase 影响编码器上下文,决定动作生成时对当前接触阶段的整体判断;Event 影响动作块输出,负责快速局部修正;Pred. 影响训练目标,提升隐状态对未来接触变化的可预测性。推理时移除 Pred. 分支,只保留 0.575M 参数,因此额外的在线延迟小于 0.3ms。

flowchart TD
  T[Tactile history] --> S[EMA contact state]
  T --> D[Short-window delta Tw=4]
  S --> F[Layer-wise FiLM on encoder]
  V[Vision and robot state] --> E[ACT encoder]
  F --> E
  E --> B[Action chunk decoder H=20]
  B --> G[Generated action chunk]
  D --> R[Event embedding and gate]
  R --> C[Residual correction on first 5 actions]
  G --> C
  C --> A[Executed corrected chunk]
  B --> P[Training-only tactile delta head]
  P --> L[Auxiliary prediction loss]
  L --> E

这张图体现了 PACE 与“早期拼接触觉”的关键差异。触觉不是只进入一次输入,而是分别进入上下文、动作块和训练目标。离线时所有分支共同塑造表示;在线时只留下对控制真正有用的两个入口,避免预测头增加闭环负担。

PACE整体网络架构

图2:PACE 将 Phase 调制、Event 残差和训练期触觉预测接到 ACT 动作块上。

二、Phase:用慢触觉状态控制整段动作的上下文

Phase 的目标是回答“现在处于插入的哪个接触阶段”。原始触觉读数有噪声,单帧尖峰可能来自摩擦、振动或传感器量化误差。PACE 先对触觉向量做指数移动平均,形成稳定的接触状态。平滑系数越小,状态越平滑但响应越慢;系数越大,瞬时扰动越容易进入编码器。论文默认 $\alpha=0.05$,强调阶段量应当反映持续性接触,而不是替代 Event 的快速检测职责。

$$ \mathbf{w}^{\text{state}}_{t}=(1-\alpha)\mathbf{w}^{\text{state}}_{t-1}+\alpha\mathbf{w}_{t} $$

式中的 $\mathbf{w}^{\text{state}}_t$ 是第 $t$ 个控制时刻的平滑触觉状态,$\mathbf{w}_t$ 是当前原始读数。该状态被送入一个小型映射网络,为 Transformer 编码器的每一层产生缩放和偏置。与只在输入前拼接一个触觉向量相比,逐层 FiLM 让接触阶段能够在多个表征深度上重新分配视觉与状态特征的权重。

$$ (\gamma^{l}_{s},\beta^{l}_{s})=\phi^{l}_{\text{phase}}(\mathbf{w}^{\text{state}}_{s}) $$ $$ \widetilde{\mathbf{h}}_{l}=(1+\gamma^{l}_{s})\odot\mathrm{LN}(\mathbf{h}_{l})+\beta^{l}_{s} $$

其中 $l$ 表示编码器层,$\mathrm{LN}$ 是层归一化,$\gamma^{l}_{s}$ 与 $\beta^{l}_{s}$ 是接触状态 $s$ 对应的仿射参数,$\odot$ 表示逐元素乘法。这里用 $s$ 表示被条件化的动作块或决策时刻,而不是每一帧都重新改写整套上下文。这样同一条慢触觉状态可以稳定地影响一个动作块,符合阶段信号的持续属性。

Phase 的设计还有一个隐含约束:它只改变已有编码器特征,不改变动作块长度,也不直接覆盖输出。因此当接触阶段判断错误时,Event 仍有机会通过短窗门控修正前五步。Phase 提供“背景”,Event 提供“冲击”,二者是互补关系。消融结果也支持这一点:移除 Event 后平均成功率下降到 66.7%,说明仅有阶段条件不足以处理快速接触变化。

三、Event:用短窗差分和前五步残差争取反应时间

精密插入中的关键事件持续时间很短。销钉从孔沿滑入孔口、插头因角度错误突然卡住、夹爪与物体之间发生微小滑移,都会让触觉向量在几十毫秒内发生变化。若把这些变化继续平均,最有用的瞬时证据会被抹平;若让模型重新生成整个动作块,又可能破坏已经合理的后续轨迹。PACE 因此把 Event 限定为“检测变化并修正动作块的头部”。

网络先对触觉做归一化,再计算当前时刻与 $T_w-1$ 步之前之间的差分。差分向量再拼接其 L2 范数,显式提供总体变化强度。论文默认 $T_w=4$,在 20Hz 控制下覆盖约 0.15 秒的历史;修正范围 $h_{\text{corr}}=5$,约 0.25 秒。这个时间窗足以把立即执行的几步从错误方向拉回,但不会把整段未来动作都交给短时噪声重写。

$$ \bar{\mathbf{w}}_{s}=\mathcal{N}(\mathbf{w}_{s}) $$ $$ \Delta\mathbf{w}_{s}=\bar{\mathbf{w}}_{s}-\bar{\mathbf{w}}_{s-T_{w}+1} $$ $$ \mathbf{e}_{s}=[\Delta\mathbf{w}_{s},\|\Delta\mathbf{w}_{s}\|_{2}] $$

$\mathcal{N}$ 表示训练数据统计得到的归一化,$\Delta\mathbf{w}_s$ 是短窗触觉差分,$\mathbf{e}_s$ 是事件嵌入。门控网络从事件嵌入产生逐维系数,残差网络从动作块 $\mathbf{W}_s$ 产生修正量。门控不是恒定的,而是根据当前触觉变化决定修正强弱:没有明显事件时,网络可以保留原始动作;发生强变化时,门控放大残差。

$$ \mathbf{g}_{s}=\sigma(\phi_{\text{gate}}(\mathbf{e}_{s})) $$ $$ \mathbf{R}_{s,0:h_{\text{corr}}-1}=\phi_{\text{res}}(\mathbf{W}_{s}) $$ $$ \mathbf{A}^{\text{corr}}_{s,0:h_{\text{corr}}-1}=\mathbf{A}^{\text{gen}}_{s,0:h_{\text{corr}}-1}+\mathbf{g}_{s}\odot\mathbf{R}_{s,0:h_{\text{corr}}-1} $$

$\mathbf{A}^{\text{gen}}$ 是原始动作块,$\mathbf{R}$ 是残差,$\mathbf{g}$ 是门控,最终只改写前 $h_{\text{corr}}$ 步。加法残差让网络在默认情况下接近原策略,只有事件证据足够时才偏离。这一结构比直接把事件 token 拼接到输入更容易控制影响范围,也让“反应快”与“保持动作块平滑”不再直接冲突。

从控制角度看,这种局部修正相当于在动作块内部建立一个低延迟的反射层。视觉和阶段上下文决定动作的大方向,最近几次触觉差分决定是否在前 0.25 秒内改道。执行器仍能获得连续动作块,策略也不需要因为每个触觉尖峰就重新启动一次完整的 Transformer 推理。

四、Pred.:用未来触觉预测塑造训练期表示

Pred. 分支处理的是另一种时间角色:它不是当前动作的条件,而是训练期间对未来的约束。对每个训练样本,论文计算相邻触觉帧的归一化增量,把这个增量作为回归目标。辅助头从动作解码器的隐状态预测未来 $H$ 步触觉变化。若策略的内部状态只能解释当前观测,却无法预判接触将如何演变,预测误差就会把梯度传回编码器和解码器。

$$ \Delta\mathbf{w}^{\text{gt}}_{t}=\mathcal{N}(\mathbf{w}_{t})-\mathcal{N}(\mathbf{w}_{t-1}) $$ $$ \mathcal{L}_{\text{pred}}=\left\|\phi_{\text{pred}}(\mathbf{z}_{s:s+H-1})-\Delta\mathbf{W}^{\text{gt}}_{s:s+H-1}\right\|_{2}^{2} $$

$\mathbf{z}$ 表示与动作块对应的解码器隐状态,$\Delta\mathbf{W}^{\text{gt}}$ 是真实未来触觉增量序列。这个辅助任务与动作重建共享表示,但不需要在推理时继续运行。总损失由动作损失、ACT 原有的 KL 项和预测损失组成,默认 $\lambda_{\text{kl}}=10$,$\lambda_{\text{pred}}=0.05$。较小的预测权重既能提供结构化监督,又不会压过动作学习。

$$ \mathcal{L}=\mathcal{L}_{\text{act}}+\lambda_{\text{kl}}\mathcal{L}_{\text{KL}}+\lambda_{\text{pred}}\mathcal{L}_{\text{pred}} $$

消融中移除 Pred. 后平均成功率从 90.7% 降到 85.3%。这说明未来触觉预测并非主导动作生成的另一个控制器,而是一种有效的表示正则化。它迫使网络在动作块生成时提前考虑后续接触,减少“动作已经生成完,直到执行受阻才发现下一阶段不同”的滞后。

五、参数成本与可迁移性

PACE 的基础 ACT 主干为 83.87M 参数,完整方法新增 0.841M,约为基础模型的 1.0%。推理时移除 Pred. 后保留 0.575M 参数,额外计算延迟小于 0.3ms。对 20Hz 控制而言,这一延迟远低于 50ms 的控制周期。方法的主要成本来自逐层 FiLM 和局部残差,而不是重新训练一个大规模触觉编码器。

论文还把 PACE 接到 Diffusion Policy。原始 DP 为 310.5M 参数,加入 PACE 后增加 3.6M,约占 1.2%。跨架构实验中,视觉 DP 从 18.3% 提升到 88.3%,提升 70.0 个百分点。这个结果比单一 ACT 实验更能说明方法针对的是“动作分块如何吸收触觉”,而不是 ACT 独有的某个偶然实现。

六、与简单触觉融合的区别

Tactile Concat 把触觉向量与视觉和状态拼接,模型理论上也能学习阶段与事件,但没有显式分离时间尺度。Tactile Cross-Attention 让动作 token 查询触觉 token,能够选择相关信息,却仍把快速事件和慢速阶段放在同一注意机制中。PACE 的差别在于为三种信号指定了不同的作用位置:Phase 改编码上下文,Event 改动作块头部,Pred. 改训练目标。

实验结果显示了这种结构化的价值。在五个真实任务上,Tactile Cross-Attention 平均成功率为 39.3%,Tactile Concat 为 46.0%,完整 PACE 为 90.7%。差距并非几个样本的波动,而是在每个单任务上都接近翻倍或更多。尤其是 USB 与网线这类细长、容差小的物体,PACE 仍分别达到 28/30 与 27/30。

力反馈遥操作系统、五个插入任务与ManipulationNet

图3:力反馈遥操作平台、五类真实插入任务,以及用于模拟接近工业场景的 ManipulationNet。

实验设置与主结果

论文在五类真实插入任务上评估:2-pin、3-pin、USB、Ethernet 与 Key。每种方法在每个任务上执行 30 次试验。训练使用带力反馈的遥操作示教,控制频率为 20Hz。所有方法共享相近的视觉与动作接口,重点比较触觉条件化的接入方式。

方法2-pin3-pinUSBEthernetKey平均
视觉 ACT4/304/302/301/304/3010.0%
视觉 DP5/306/304/303/305/3015.3%
π06/308/304/304/306/3018.7%
ACT + 触觉交叉注意力10/3015/3011/309/3014/3039.3%
ACT + 触觉拼接13/3017/3012/3013/3014/3046.0%
PACE27/3029/3028/3027/3025/3090.7%

视觉策略的表现说明仅靠外观无法覆盖插入末段。视觉 ACT 平均只有 10.0%,视觉 DP 为 15.3%,即便使用视觉语言动作模型 π0,也仅达到 18.7%。接入触觉后,普通融合方法把成功率提升到四成左右,证明触觉本身有信息量;但 PACE 继续拉到 90.7%,说明“如何组织触觉时间信息”与方法是否使用触觉同样重要。

五个任务中,3-pin 对空间方向和接触分布的要求更复杂,PACE 仍达到 29/30。Key 是最困难的任务之一,最终为 25/30。它比 USB 和网线更容易出现夹持滑移与旋转,因此成功率略低,但相对 46.0% 的强基线仍保持明显优势。作者没有用平均成功率掩盖任务差异,而是保留了每个任务的具体试验数,便于判断失败集中在哪类几何。

为了避免只在桌面实验装置上有效,论文还在 ManipulationNet 上测试圆柱与六边形销钉,覆盖 3mm、1mm 与 0.1mm 三种间隙。0.1mm 间隙接近工业精密装配的苛刻范围,视觉与单纯位置控制几乎没有容错空间,力反馈成为判断孔沿与姿态偏差的主要依据。

销钉几何3mm 间隙1mm 间隙0.1mm 间隙
圆柱销钉25/2522/2521/25
六边形销钉24/2522/2519/25

六种几何与间隙组合的平均成功率为 88.7%。圆柱销钉在 0.1mm 仍达到 21/25,六边形销钉为 19/25,后者对旋转与角向对齐更敏感。结果的意义不只是绝对值,而是 PACE 没有依赖某一种特定销钉形状:阶段调制、事件残差与训练期预测在不同几何上仍能形成统一控制逻辑。

消融、替代反馈与跨架构验证

论文的消融实验直接检验三种时序角色是否都必要。移除 Pred. 后成功率为 85.3%,移除 Phase 后为 78.7%,单独移除 Event 后降到 66.7%。其中 Event 的贡献最大,因为动作块生成后如果没有任何局部改写通道,短时接触变化只能等下一次整块重规划。Phase 和 Pred. 则分别从上下文与表示学习层面改善策略。

配置平均成功率相对完整 PACE 的变化
完整 PACE90.7%基准
移除 Pred.85.3%-5.4 个百分点
移除 Phase78.7%-12.0 个百分点
移除 Event66.7%-24.0 个百分点
仅 Phase60.0%-30.7 个百分点
仅 Phase,动作块 H=1049.3%-41.4 个百分点

“仅 Phase,H=10”进一步说明阶段条件不能替代局部事件闭环。缩短动作块会让策略更频繁重规划,理论上增加反馈机会,但若没有专门的事件残差,成功率仍只有 49.3%。这反驳了“只要把动作块缩短,触觉自然就能生效”的简单假设。PACE 的有效性来自让最新事件明确进入当前块的头部,而不是单纯增加重规划次数。

方法也没有绑定 6 维触觉。使用默认 6 维触觉时成功率为 93.3%,改用六轴力/力矩为 90.0%,改用 7 维关节电流为 88.3%。力/力矩与关节电流的信息结构不同于触觉阵列,但仍能获得接近结果。这说明 PACE 更关心反馈信号的时序角色,而不是要求某种固定传感器格式。关节电流结果稍低,可能因为它同时受到重力、摩擦、传动与负载耦合影响,接触事件的信噪比不如专用触觉。

跨架构迁移的结果从 DP 18.3% 到 DP+PACE 88.3%,提升 70.0 个百分点。ACT 与 DP 的动作生成机制差异很大,前者通过 CVAE 与 Transformer 解码动作块,后者通过扩散去噪生成动作。PACE 能在两者上生效,说明“阶段条件 + 事件残差 + 未来触觉预测”不是依赖某一特定动作头的小技巧,而是一种可以套在动作分块外层的接口。

论文还比较了 RDP 与 PACE。PACE 在 2-pin 上为 29/30,在 Key 上为 27/30;RDP 分别为 19/30 与 12/30。RDP 也尝试利用触觉或反应式信息,但 PACE 的领先表明把事件修正限定在动作块前部、同时用慢状态调制编码器,能更有效地兼顾长期动作结构与短时接触反应。

机制分析:网络是否真的在用 Phase 与 Event

高成功率本身不能证明设计按预期工作,论文因此分析了两个分支的统计行为。Phase 嵌入在不同接触强度分箱之间存在显著差异,单因素方差分析得到 $F=8.36$、$p<10^{-4}$、$\eta^2=0.236$。这表示阶段表示确实随接触强度变化,而不是学习到一个与触觉无关的常量。

Event 分支也表现出与接触变化率的一致性。事件修正幅度与接触变化率正相关,相关系数 $r=0.356$、$p<0.001$。相关性不是因果证明,但至少说明门控残差不是随机噪声:当触觉短窗变化更大时,网络倾向施加更强修正。结合移除 Event 后的大幅性能下降,可以认为局部动作修正通道承担了实际控制功能。

插入过程中的力、Phase与Event时序曲线

图4:完整插入过程中的力曲线、阶段条件与事件修正,展示了慢状态和短时变化的配合。

图 4 把方法放回到一次完整插入轨迹中观察。接触建立后,触觉强度并非单调上升,而是在孔沿、姿态调整和滑入过程中出现多次变化。Phase 呈现较平滑的状态演进,Event 则对短窗变化更敏感。两者在时间轴上的差异正好对应网络结构中的分工:Phase 适合作为整块动作的背景,Event 适合在前五步中快速抵消偏差。

示教质量与触觉反馈的作用

力反馈不仅影响策略推理,也影响示教数据质量。论文比较了开启与关闭力反馈时的遥操作演示,并用策略成功率、力方差、轨迹间偏差与峰值力评估。PACE 在 2-pin 任务上使用开启反馈的示教达到 29/30,关闭反馈时为 21/30;ACT + Tactile Concat 对应为 17/30 与 7/30。相同策略对示教质量更敏感,说明数据中的力信息会改变策略可学习的接触行为。

关闭力反馈后,力方差从 4.8 增加到 12.7 N²,意味着操作过程中的接触力更不稳定;轨迹间偏差从 1.07 增加到 1.92 N,说明不同演示之间的一致性下降;峰值力从 $10.0\pm2.2$ N 增加到 $16.7\pm7.1$ N,显示失误时的冲击更强。力反馈帮助操作者感知孔沿与卡滞,减少盲目施力,这对精密插入和硬件安全都有直接价值。

这部分实验也暴露了一个容易被忽略的训练问题:触觉策略的上限不只取决于模型结构,还取决于演示是否真正包含可辨识的触觉因果。如果示教者在没有力反馈时反复碰撞、依靠视觉试错完成插入,数据中的接触事件会包含大量偶然修正和高力冲击。网络可能学会复现这些粗糙动作,尤其是 Event 分支会把冲击当成正常模式。

力反馈示教质量对比

图5:开启与关闭力反馈的示教质量对比,包括成功率、力方差和峰值力等指标。

示教质量分析对实际部署很有价值。很多系统把“传感器装上了”当作完成,却忽略了遥操作者能否实时利用反馈、教学界面是否提供足够带宽、传感器标定是否随工具更换而更新。PACE 结果表明,同样的触觉网络在不同演示条件下差距明显,数据采集流程本身是系统性能的一部分。

单回合力方差核密度估计

图6:单回合接触力方差的分布。力反馈示教整体分布更集中,关闭反馈时出现更长的高方差尾部。

失败机制:PACE 仍然不是万能接触控制器

论文没有只报告成功案例,还分析了真实失败。第一类失败是回撤高度不足,同时抬升与横移动作发生耦合。机器人没有先把销钉完全退出孔沿,就开始斜向移动,导致销钉尖端以孔沿为支点转动。此时触觉会显示局部受力,但动作方向本身被几何约束锁住,简单的局部残差无法恢复足够间隙。

第二类失败来自多次修正累积。策略每次检测到接触偏差都会改写动作块头部,但如果每次都改变接触点而没有重新建立稳定姿态,销钉倾角会逐步累积,最后卡死在孔内。这说明 Event 分支需要“修正强度”之外的安全约束,例如限制连续同向修正次数、检测接触点是否稳定,或在多次修正后主动执行受控回撤。

第三类失败与夹爪材质有关。硅胶夹爪对窄平物体的横向剪切抵抗较弱,在旋转或侧向接触时更容易发生滑移。触觉策略可以识别到接触变化,却不一定能区分“物体在孔沿偏转”与“物体相对夹爪滑动”。如果缺少夹爪内触觉或更丰富的腕部力/力矩信息,PACE 只能通过外部接触反馈间接推断,恢复空间有限。

局限性

第一,作者明确承认方法只在精密插入场景中验证。擦拭、推拉、可变形物体操作和双臂装配等任务具有不同的接触拓扑与力分布,尚未测试。PACE 的 Phase/Event/Pred. 角色是否足以覆盖这些任务,还是需要增加接触拓扑、摩擦状态或形变预测,仍不能从现有实验下结论。

第二,Event 分支使用固定的平滑系数、窗口长度和修正步数。$\alpha=0.05$、$T_w=4$、$h_{\text{corr}}=5$ 在本文任务中有效,但真实接触的时间尺度会随物体刚度、控制频率和插入速度变化。作者提出未来可以让这些时间常数随接触阶段学习或自适应调整。目前的方法需要针对新硬件和新任务重新调参,自动泛化能力仍有限。

第三,Pred. 只在训练期使用,推理时没有把未来触觉预测用于候选动作筛选或安全规划。虽然辅助头改善了表示,但策略并不能在动作执行前比较多个动作块“未来会造成多大的接触力”。若预测头在线保留并接入安全约束,可能进一步减少高力冲击和不可逆卡死,但也会增加推理成本,作者尚未验证这种闭环形式。

第四,PACE 假设物理反馈具有足够信息量。弱接触、传感器校准不准、漂移或线缆干扰会降低事件检测质量。尤其是 0.1mm 级间隙下,接触强度很小,Phase 可能长时间停留在低接触区间,Event 差分也更容易受噪声影响。方法本身没有提出独立的传感器健康监测或自适应校准机制。

从系统部署角度看,还有数据覆盖与安全边界问题。真实插入收集成本高,不同插座、物体材质和装配公差会造成分布变化。Event 残差虽然只改前五步,但仍可能把动作推向未示教区域。实际系统需要力上限、工作空间限制、碰撞保护和失败后自动回撤,不能把策略成功率当作唯一安全指标。

总结与展望

PACE 的贡献可以概括为一种时间角色分解。它没有把触觉视为静态附加输入,而是分别让慢状态调制编码器、短窗事件修正动作块头部、未来变化监督解码器表示。这样的设计尊重了触觉在接触任务中的多尺度本质,同时保持动作分块策略的原有结构,不需要为每个角色重建整套网络。

实验证据比较完整:五个真实任务的逐项成功率、ManipulationNet 的不同销钉与间隙、三组消融、三种反馈信号、ACT 与 DP 两种架构、RDP 对比、Phase 与 Event 机制统计,以及示教质量分析。最重要的数字是 90.7% 对 46.0% 的强融合基线,以及移除 Event 后降到 66.7%。它们共同支持“事件残差不是装饰,而是动作块快速闭环的核心接口”这一结论。

下一步最自然的方向是让时间尺度和修正强度自适应。若网络能根据接触状态估计当前是接近、孔沿接触、姿态调整还是滑入阶段,就可以动态选择短窗长度和修正范围。其次是把未来触觉预测从辅助损失扩展为执行前筛选,对高风险动作块提前限速或回撤。最后是把力反馈示教、传感器校准与硬件设计纳入统一流程,因为数据质量直接决定触觉策略的上限。

对机器人开发者而言,PACE 提供了一个清晰的工程启示:给动作块接触觉,不应只问“把触觉拼到哪里”,还要问“触觉在什么时间尺度上改变哪一步决策”。阶段信息负责理解任务,事件信息负责争夺反应窗口,预测信息负责提前塑造表示。把这三件事混在一起,模型会变复杂;把它们放在正确的位置,才会变成可靠的接触闭环。

金句

触觉不是动作块旁边的一项输入,而是沿时间展开的控制角色:慢状态决定当前该怎样做,快事件决定接下来几步要不要改。

触觉机器人操控模仿学习接触丰富操作视觉语言动作模型触觉感知

原始链接

https://arxiv.org/abs/2610.16308https://pace-insertion.github.io/

相关论文

T-WLA:慢视觉,快触觉

T-WLA:慢视觉,快触觉

T-WLA 以共享历史视觉记忆连接慢速视觉与高频触觉残差修正,在 EgoTouch、Tachin 与四项真机接触操作上提升精度和成功率。

Kaichen Zhou, Yuzhen Chen, Hannah Yao · 114次阅读 · 2026年10月20日
触觉Visuotactile Manipulation
2026年10月20日
Agile-WAM:面向接触丰富机器人控制的敏捷触觉世界动作模型

Agile-WAM:面向接触丰富机器人控制的敏捷触觉世界动作模型

Agile-WAM 从零训练一个不含交叉注意力的「视觉-触觉-动作」流匹配骨干,把融合观测潜变量直接当作流的源,一次前向同时生成动作块与未来视觉/触觉潜变量,并按「视觉看远、触觉看近」做多时域监督;9 个仿真与 5 个真机接触丰富任务成功率最高,单次推理 10.35 ms(96.6 Hz),真机相对最强基线提升 29.4%。

Hanchu Zhou, Brendan Lynch, Raman Goyal · 161次阅读 · 2026年9月17日
世界动作模型流匹配
2026年9月17日
VT-Bridge:轻量残差适配把预训练 VLA 桥接成 VTLA

VT-Bridge:轻量残差适配把预训练 VLA 桥接成 VTLA

VT-Bridge 不改动预训练 VLA 的架构,只在其预测的动作块之上外挂一个 0.98M 参数的触觉残差适配器,以机器人执行频率逐步修正动作:骨干低频推理(π0 每块 153.1 ms),适配器单步 0.7 ms,两者在同一块 GPU 上时间片交错,互不抢占算力。每个任务最多 50 条双边遥操作视触演示即可完成 LoRA 微调骨干与训练适配器;残差监督取遥操作记录的期望位姿而非实际执行位姿,以补偿阻抗控制下 4-5 cm 的接触偏移,非接触样本的残差目标置零。在 π0、π0.5、SmolVLA 三个骨干与 Pump Bottle、Clean Whiteboard、Insert Plug、Flip Rocker Switch 四个接触密集任务上,平均严格成功率从 11.7% 提升到 62.9%,条件完成率提升 58.8 个百分点,12 个任务-骨干组合全部最优。代码正在整理开源。

Yansong Wu, Tuo Yang, Rongping Zhao · 217次阅读 · 2026年9月18日
触觉视觉语言动作模型
2026年9月18日
PanTact:用可穿戴接触接口教会人形机器人全身灵巧性

PanTact:用可穿戴接触接口教会人形机器人全身灵巧性

PanTact 把接触而不是关节轨迹当作人到机器人的迁移货币。可穿戴贴片由 44×44 mm 的 FSR 模块磁吸拼装,一块 50×50 mm 自研 PCB 以 1 kHz 同读 16 路,走带 CRC 的 RS-485 菊花链,每块贴片挂一个 Vive tracker 把传感器中心定位到世界系,接触状态按每通道自适应基线二值化,阈值 max(0.35β, r_min)。策略以身体遮蔽后的 3D 第一视角点云、双腕图像与本体感知为观测,10 Hz 预测 H=16 的动作块,内含 look-at 点、EEF 位姿与夹爪宽度、逐传感器接触目标(二值状态加 3D 位置)。控制器用软最小邻近距离 d(p,q)(T=0.02 m)把激活接触交给当前最近的机器人表面,并沿按压方向偏移 δ 形成虚拟目标以产生按压力,因此 G1 不装任何触觉传感器也能抱住物体。三种公式化实现各有代价:免训练的上身 IK、由 SONIC 执行稠密参考的 WBIK、PPO 在 4096 个仿真环境训 30k 迭代的稀疏接触跟踪器(50 Hz、29 关节、上身 8 / 全身 16 个接触槽)。29-DoF Unitree G1 实测:Grasp-and-Embrace 85%(上身 IK)与 80%(稀疏),Humanoid UMI 为 0;Sweep-and-Stow 端到端 90.63%,UMI++ 两阶段各 18.75%、端到端 0;Carry-and-Push 90% 对 40%。仿真回放消融显示加入接触目标后三种控制器接触距离都下降,EEF 精度几乎不受损。

Xu, Xiaomeng, Zhang, Han, Ruan, Zhian · 410次阅读 · 2026年10月8日
Whole-Body Manipulation触觉
2026年10月8日

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。