#模仿学习 (53)

瀑布流分页

2:23

Pixel：低成本全栈人形移动操作

@rsalakhu · 23次播放 · 2026-11-03

人形机器人移动操作

0:18

FLoRe 学习力反应人形操作

@SihangLi659492 · 22次播放 · 2026-11-03

人形机器人力控

立体视觉策略：用双目感知提升机器人操作

StereoPolicy 直接利用同步双目图像学习任务条件化的空间表示，通过左右跨注意力融合二维预训练特征，避免显式深度图与点云重建。该方法可接入扩散策略、π0.5 和 GR00T-N1.5，在仿真与真实桌面及双臂移动操作中提升成功率，并给出双目基线与工作距离的实用配置比例。

Evans Han, Yunfan Jiang, Yingke Wang · 62次阅读 · 2026年5月11日

立体视觉机器人操控

2026年5月11日

从 RT-1 到 MolmoAct 2：Vision-Language-Action 模型的演化史

从 SayCan、RT-1、RT-2 到 OpenVLA、π0 与 MolmoAct 2，梳理 VLA 演化中的动作表示取舍，并复现离散化实验。

博客

视觉语言动作模型机器人学习

METATRON：面向人形机器人的可提示全身执行层

METATRON 将生成式全身策略与可编程技能层结合，用稀疏身体目标、速度、风格和场景提示驱动单一冻结的 Unitree G1 策略，无需任务级重训。

Chen Tessler, Yifeng Jiang, Alec Otto · 316次阅读 · 2026年10月27日

人形机器人全身控制

2026年10月27日

0:58

I3L 把人工纠正变成稳定策略

@robotsdigest · 86次播放 · 2026-10-31

模仿学习Interactive Learning

EgoScale：用多样化第一视角人类数据扩展灵巧操作

提出基于大规模第一视角人类视频的 VLA 训练框架 EgoScale：在 20,854 小时动作标注人类数据上预训练，发现数据规模与验证损失呈对数线性关系；再通过少量对齐的人机协同中训练接地到机器人控制。22 自由度灵巧手策略相对无预训练基线平均成功率提升 54%，并能迁移到低自由度手。

Ruijie Zheng, Dantong Niu, Yuqi Xie · 150次阅读 · 2026年2月18日

灵巧操作视觉语言动作模型

2026年2月18日

4:02

FACT：从人类视频与力学灵巧操作

@RavenHuang4 · 114次播放 · 2026-10-28

FACT灵巧操作

PACE：面向分块插入策略的时序角色触觉条件化

接触密集的精密插入要求机器人把视觉对准与触觉调整结合起来。现有视觉-触觉分块策略通常把触觉反馈压进单一生成通路，持续接触状态、突变接触事件以及动作将造成的未来接触后果只能被隐式混合建模。PACE 将同一条触觉流拆成三种时序角色：用指数平滑的持续接触状态逐层调制动作块生成；用短窗触觉差分构成事件线索，通过门控残差只修正动作块最前面的部分；训练期再从解码器隐状态预测未来触觉增量，以辅助表示学习。该结构保留动作块的时间连续性，同时让慢变的接触阶段和快变的碰撞、卡滞获得不同处理路径。五个真实插入任务平均成功率为 90.7%，比纯视觉和单通路触觉融合基线高 44 个百分点以上；在 ManipulationNet 六种几何与间隙配置上平均成功率为 88.7%，0.1 毫米工业级间隙下仍保持较高成功率。消融显示 Phase、Event 与 Pred. 互补，跨信号实验覆盖六维触觉力、六轴力/力矩和关节电流，跨架构实验表明该原则可用于扩散策略。

Zhiyuan Chen, Shixiong Xu, Shuai Chen · 243次阅读 · 2026年10月12日

触觉机器人操控

2026年10月12日

从视频到视觉：从人体动作学习可泛化的人形机器人搬运

现有视频驱动的人形机器人模仿学习通常要在运行时持续生成参考轨迹，策略因此依赖动捕室中的全局位置，物体一旦偏离演示位置，成功率便快速下降。本文提出三阶段教师—助手—学生训练框架 MOVER：先用 GENMO 从 100 段视频恢复人体运动，再由 GMR 重定向到 29 自由度天工人形机器人，并通过物体几何、尺度与位姿增强得到 4000 条参考轨迹；随后依次训练严格跟踪的教师、弱化自身体位置跟踪的助手，以及去除本体位置观测的 DAgger-PPO 学生。部署阶段由头戴 RGB-D 相机和物体标记估计相对位姿，QuatNet 则从物体相对位姿、关节状态与目标位置回归参考朝向。方法在仿真中比较多种物体摆放和形状配置，并在无动捕环境中完成真机搬运，但训练数据规模、视觉遮挡和目标定位误差仍限制泛化。

Ziluo Ding · 254次阅读 · 2026年10月10日

人形机器人Object Carrying

2026年10月10日

DONIC：从人类演示学双手灵巧跟踪

DONIC 是首个跨操作类别与人类动作数据源联合训练的通用双手跟踪器；配套 BiHOI 多视角数据集含 1575 段序列、229 个物体，强调持续双手接触。方法以物体为中心的逐手奖励与 Clip-Centered Advantages 支撑 PPO 加行为克隆的闭环，单个检查点在未见轨迹与未见物体上分别取得 86.79% 与 57.32% 的成功率，无需任何微调。

Mingze Sun, Ziang Cao, Yuan Fei · 219次阅读 · 2026年10月21日

灵巧操作Bimanual Manipulation

2026年10月21日

1:24

DONIC：单策略驱动双灵巧手跟踪

@HuggingPapers · 151次播放 · 2026-10-22

灵巧操作Bimanual Control

SimpleVLN：不改架构释放原生多模态大模型的视觉语言导航能力

视觉语言导航（VLN）要求具身智能体把自然语言指令落到第一视角观测上并完成长程决策。现有方法大多靠任务专用结构补能力——全景拼接、3D 几何编码器、双系统分层决策——因此很难判断成绩里有多少来自 MLLM 本身。SimpleVLN 把问题反过来问：在引入任何任务专用模块之前，原生 MLLM 的导航潜力是否已经被榨干？它的回答分三层。表述层：每次决策都重新构造一轮独立输入，即指令 + 当前观测 + 固定预算的全局-局部历史（默认全局 8 帧均匀采样、局部 1 帧），不再累积成越来越长的多轮对话；输出侧用动作块，一次推理给出多个基元动作（前进 0.25 m、左右转 15 度、停止）依次执行。数据层：R2R、RxR、ScaleVLN 的专家演示转成决策级监督样本，基于偏离度的 DAgger 在策略自己走到的状态上收集纠偏轨迹，RL 任务则在训练场景里自动合成新的起点-终点与指令。优化层：IL 到 DAgger 再到 RL 三段递进，RL 只用二值成功奖励（停在目标 3 m 内记 1 分），主结果用 DAPO 训 40 步。只用单目 RGB、不改一行网络结构，Qwen3.5-9B 版在 R2R-CE 与 RxR-CE 的 val-unseen 上分别拿到 76.7% 与 80.1% 成功率，超过依赖全景、深度或里程计的现有方法；单次动作块决策耗时 293 ms。消融显示单轮输入把成功率从 35.7% 抬到 53.6%，DAgger 再贡献 7.5 与 8.1 个点。评测代码与八个权重已开源，并在 Daystar 四足机器人（Jetson Thor 机载）上完成真实环境验证。

Lingyi Hong, Weiren Cai, Jiayu Chen · 264次阅读 · 2026年10月16日

视觉语言导航具身智能

2026年10月16日

感知人形跑酷：通过动作匹配串联动态人类技能

尽管人形机器人的运动控制近来已在多种地形上实现稳定行走，如何获得高动态人类动作那般的敏捷性与适应性，仍是一个开放问题。尤其是在复杂环境中的敏捷跑酷，不仅要求底层控制的鲁棒性，还要求类人的动作表现力、长时程的技能组合，以及由感知驱动的决策能力。本文提出感知人形跑酷框架 PHP（Perceptive Humanoid Parkour）：一个模块化系统，使人形机器人能够在具有挑战性的障碍场地上自主完成长时程、基于视觉的跑酷。方法首先把动作匹配（motion matching）表述为特征空间中的最近邻检索，用它把重定向后的原子人类技能组合成长时程运动学轨迹；这一框架让复杂技能链既能灵活组合、又能平滑过渡，同时保留人类动态动作的优雅与流畅。随后，我们为这些合成动作训练基于动作跟踪的强化学习（RL）专家策略，并用 DAgger 与 RL 相结合的方式把它们蒸馏成单个基于深度图的多技能学生策略。关键在于，感知与技能组合的结合带来了自主的、随场景而变的决策能力：仅凭板载深度传感与一条二维速度指令，机器人就能自行判断应当跨过、爬上、撑越还是翻下几何形状与高度各不相同的障碍。我们在 Unitree G1 人形机器人上以大量真机实验验证该框架，展示了诸如攀爬最高 1.25 m（相当于机器人身高 96%）障碍这类高动态跑酷技能，以及在障碍被实时扰动时闭环适应的长时程多障碍穿越。

Zhen Wu, Xiaoyu Huang, Lujie Yang · 227次阅读 · 2026年2月17日

人形机器人跑酷

2026年2月17日

PriMoRetarget：通过优先级运动重定向实现人形机器人动作迁移

运动重定向是把人类动捕数据迁移到人形机器人的关键预处理步骤。现有方法多将重定向写成加权多目标优化，目标冲突时只能靠手工调权妥协，难以保证脚部落点、人-物接触等关键特性不被姿态目标牺牲。本文提出 PriMoRetarget，用显式优先级层次取代相对权重：低优先级目标的梯度更新被投影到高优先级目标雅可比的零空间中，使接触与脚步约束严格优先于姿态相似度。方法包含逐帧分块投影（复杂度从 O(T^3 m^3) 降至 O(T m^3)）、自由目标机制与加权和热身三个设计。在 LAFAN1、OMOMO、Inter-X 与 35 分钟双人协作数据上，接触保持率全面领先 PHC、GMR、OmniRetarget（OMOMO 96.9%），跟踪策略成功率在 LAFAN1 与 OMOMO 达 100%，并在 Unitree G1 真机完成搬箱部署。

Nicholas Ioannidis, Dun Yang, Max Smith · 270次阅读 · 2026年10月8日

人形机器人运动重定向

2026年10月8日

Juno：为视觉-语言-动作模型驯服预测性潜变量

Juno 把同一个动作条件 JEPA（LeWM，ViT-Tiny 约 15M 参数）用在三个位置：控制对齐的表征骨干、策略学习期的预测教师、部署期的可适配动力学模型。预训练用 Dynamic CLS 损失把冻结 patch 监督者的运动加权 patch 变化搬进紧凑的 CLS 状态；策略学习用 patch 级融合加 MoT 解耦推理分支，把 K 个未来 CLS 状态一对一蒸馏进隐序列，并与流匹配动作损失在同一条隐序列上汇合；部署期两阶段测试时适配先用全部转移（含失败）全参数更新世界模型，再冻结适配后的教师、只在验证成功的执行上以 LoRA 重对齐策略。SimplerEnv 平均成功率 68.5%（最强基线 Qwen3GR00T 为 60.9%，适配后 72.7%），RoboCasa-GR1 24 任务 59.6%（赢下 21 个），真机冻结策略在累积偏移下保持 75/70/70 而基线归零。

Yuchen Zhu, Chenyi Xu, Yulin Zhang · 219次阅读 · 2026年10月7日

视觉语言动作模型世界模型

2026年10月7日

LoopWAM：从部署回放中闭环改进的通才机器人策略

只堆专家示范，通才机器人策略并不会因为「上了真机」就变强：部署回放里既有成功，也有次优动作和彻底失败，逐个动作照抄会把坏行为一起学进去，而把失败样本直接丢掉，又丢掉了物理交互及其后果的证据。LoopWAM 是一个闭环的世界动作模型（world-action model），它直接从这份「全质量谱系」的回放里学习，回放既可以来自它自己，也可以来自别的已部署策略（X-VLA、π0.5）。方法上有三块互相咬合的设计：源相关噪声采样把行为学习与动作条件世界建模统一进同一个联合去噪目标——示范数据只对视频加噪、回放数据只对动作加噪，两条流在每一层的联合注意力里交互，学到的「后果」因此能直接参与动作生成；质量引导把质量分数写进指令后缀 Quality: q，部署时固定取最高档，使同一个模型既能被引导也能被评估；质量加权监督用 λ(q) 调节动作项的模仿强度（q=1,2 为 0.0，q=3 为 0.3，q=4 为 0.6，q=5 为 1.0），视频监督则在全质量段完整保留。模型由 Wan2.2-TI2V-5B 初始化，视频 DiT 30 层 3072 维、动作 DiT 30 层 1024 维，flow matching 训练。结果：RoboChallenge Table30-V2 上三轮「部署—采集—再训练」把成功率从 23.67% 拉到 43.33%（+19.7 个百分点），总分 36.10→56.80；RoboTwin 2.0 平均成功率 94.5%（用 LoopWAM、X-VLA、π0.5 三个策略共 22,500 条回放训练）；RoboCasa365 总成功率 14.9%→49.5%，三项基准在对比方法中都是最好，且没有做额外的具身预训练。最难的叠衣服任务上，单任务后训练之后再跑两轮部署驱动改进，成功率从 13.20% 升到 55.56%。消融显示：完全不做质量引导只有 72.3%，粗粒度标注加上质量加权动作监督才到 94.5%。项目页 https://loop-wam.github.io/

Wenxuan Guo, Yingping Liang, Zhaoguo Wang · 364次阅读 · 2026年10月13日

世界动作模型自改进

2026年10月13日

PanTact：用可穿戴接触接口教会人形机器人全身灵巧性

PanTact 把接触而不是关节轨迹当作人到机器人的迁移货币。可穿戴贴片由 44×44 mm 的 FSR 模块磁吸拼装，一块 50×50 mm 自研 PCB 以 1 kHz 同读 16 路，走带 CRC 的 RS-485 菊花链，每块贴片挂一个 Vive tracker 把传感器中心定位到世界系，接触状态按每通道自适应基线二值化，阈值 max(0.35β, r_min)。策略以身体遮蔽后的 3D 第一视角点云、双腕图像与本体感知为观测，10 Hz 预测 H=16 的动作块，内含 look-at 点、EEF 位姿与夹爪宽度、逐传感器接触目标（二值状态加 3D 位置）。控制器用软最小邻近距离 d(p,q)（T=0.02 m）把激活接触交给当前最近的机器人表面，并沿按压方向偏移 δ 形成虚拟目标以产生按压力，因此 G1 不装任何触觉传感器也能抱住物体。三种公式化实现各有代价：免训练的上身 IK、由 SONIC 执行稠密参考的 WBIK、PPO 在 4096 个仿真环境训 30k 迭代的稀疏接触跟踪器（50 Hz、29 关节、上身 8 / 全身 16 个接触槽）。29-DoF Unitree G1 实测：Grasp-and-Embrace 85%（上身 IK）与 80%（稀疏），Humanoid UMI 为 0；Sweep-and-Stow 端到端 90.63%，UMI++ 两阶段各 18.75%、端到端 0；Carry-and-Push 90% 对 40%。仿真回放消融显示加入接触目标后三种控制器接触距离都下降，EEF 精度几乎不受损。

Xu, Xiaomeng, Zhang, Han, Ruan, Zhian · 563次阅读 · 2026年10月8日

Whole-Body Manipulation触觉

2026年10月8日

MobileVISTA：生成式数据增强让移动操作扛住 15cm 站位偏差

移动操作策略大多照着一个站位采的示范学出来，部署时底座偏几厘米，第一视角画面和末端轨迹就一起偏，成功率断崖式下滑。MobileVISTA 不重采数据，而是把已有示范「搬」到新站位。视觉侧先按 (r,θ)~(√u·15cm, 2πv) 采样盘面偏移与 ±5° 偏航，用天空盒掩码（仿真里 GR-1 标红、Franka 标黄；真机走 URDF 深度阈值 0.995 再膨胀 5px）把机器人抠掉，Open3D 反投影成点云、按相机外参升到世界系平移 Δp，再用重定向动作正运动学算出的新外参重投影，被遮挡的洞交给 E2FGVI 补，最后把机器人渲到新位置合成回去（仿真 512×512，真机 6× 上采样）。动作侧是闭式变换：p'_t=T⁻¹[p_t;1]、R'_t=R_inv_yaw·R(r_t)、夹爪原样透传，双臂绕中点偏航，再用 mink IK（FrameTask 1.0/1.0、PostureTask 1e-5、≤20 步）解回关节。数据量仿真 1:1（200→200）、真机 1:10（50→500）。GR-1 的 Can Sort 在 r=15cm 从微调 π0.5 的 0.320 提到 0.527，Pouring 0.460 对 0.013；双臂 Franka 的 Box 从基线最高的 0.087（DP3）提到 0.247，Drawer 0.413 反而高过仿真 oracle 的 0.393。真机 Book Stacking 随机站位抓到 17/25、放上书堆 13/25，三个基线只有 1-2/25。消融指向关键在「机器人几何随站位变」：只做动作变换几乎无增益（0.00-0.11），固定机器人几何会丢掉 Pouring +0.47、Can Sort +0.28、Box +0.24。补图质量 PSNR 也压过 GEN3C（Can Sort 25.02 对 16.29 dB），单帧耗时 2.39-4.31 分钟（L40S）对 GEN3C 的 13.65-16.85 分钟（H200）。

Wistreich, Suzannah, Tian, Stephen, Huang, Isabella · 320次阅读 · 2026年10月5日

移动操作Data Augmentation

2026年10月5日

RoboPrompt：用稀疏人类输入直觉式引导机器人策略

模仿学习训练的端到端机器人策略受限于数据多样性，零样本部署常常失败；遥操作纠正依赖专用硬件与熟练操作员，而把人类指导作为策略额外输入的方法又需要修改架构并专门训练可引导性。RoboPrompt 提出一个通用、轻量的机器人策略引导系统：用户只需用画出的轨迹、目标点或粗方向指令等稀疏输入，就能在线纠正策略行为。系统用一个 0.77B 参数的 VLA（Evo-1）作为人类意图翻译器，把稀疏提示转换为时空完整的动作草稿，再借助基策略（Diffusion Policy、π0.5、FastWAM）自身的扩散/流匹配去噪动力学，在噪声空间中平衡人类意图与策略先验，无需改动基策略架构或为可引导性微调。真机实验中三种策略的提示对齐率达 99.44%、97.1%、100.0%；将引导 rollout 用于 DAgger 在线改进，2–3 轮后 π0.5 三个任务平均成功率提升 15.5%，三个策略在 Insert Bread 上提升 21.3%，人工干预次数分别下降 44.0%（2.86→1.60）与 81.9%（2.60→0.47）。

Yanwen Zou, Chenyang Shi, Guoxuan Xu · 510次阅读 · 2026年10月7日

操作模仿学习