#机器人操控 (52)

HIL-UMI：把 VLA 人在环后训练搬离机器人本体

HIL-UMI 用手持 UMI 夹爪做人机在环 VLA 后训练：人在演示时，同一观测流上并行跑当前策略但不执行其预测，用 Energy Score 比较人类动作块与策略动作分布，超阈值即判为分布外（OOD）并触发定点采集；另一条回路上，在线优势预测偏低的片段被收来重训基于任务进度的优势估计器，再由它给数据打二元优势标签做优势条件行为克隆（ACBC）。四个真机任务上持续优于 SFT，Stack Cube 三轮后 TPS 84→100；对比真机 HG-DAgger，Clean Up Table 每帧采集时间 73.40ms 对 412.99ms，快 5.63 倍且末轮 TPS 高约 5 分。

Han, Zimu, Zeng, Yiming, Zhang, Jiyao2026年9月17日

视觉语言动作模型Human-in-the-Loop后训练2026年9月17日

0:39

Show-Harness：仅凭一个 VLM 智能体就能「玩」机器人

基础视觉语言模型（VLM）对世界已有广泛认知，但把这种认知转成机器人控制仍然困难。我们提出 Show-Harness——一套「具身 harness」，通过连接意图与动作的紧凑语义接口，让 VLM 直接「玩」机器人。Show-Harness 对外暴露 VLM 天然可推理的离散语义动作单元，再由机体专属的解释器把它们确定性地接地为局部机器人动作，使 VLM 始终对细粒度物理决策负责。基于同一接口，我们验证了两条路径：（1）直接解锁闭源前沿 VLM 实现零样本机器人控制；（2）只需几 GPU 小时微调，即可把小规模开源 VLM 适配为低成本部署的策略。我们进一步做出 GUMI（GUI 操作界面），把同一语义动作空间延伸到基于 GUI 的演示采集，让人类与智能体无需专用遥操作硬件即可跨机体「玩」机器人。大量实验表明，装配 Show-Harness 的 VLM 智能体在任务、机体与环境之间稳健泛化，优于代表性的 agentic 与 VLA 范式。这些结果说明：合适的接口本身就能从基础 VLM 中释放大量具身能力，无需额外的模型容量，也无需昂贵的机体专属预训练。

Yanzhe Chen, Zechen Bai, Zhijun Cao2026年9月9日

视觉语言模型Agentic HarnessSemantic Action Interface2026年9月9日

0:37

Reward AI发布人本OM-1机器人模型

@humanoidsdaily · 219次播放 · 2026-09-14

Embodied Foundation ModelHuman Manipulation机器人操控

0:59

reBot机械臂实机遥操作映射Isaac Sim

@kabilankb2003 · 238次播放 · 2026-09-14

Robot TeleoperationReal-to-SimIsaac Sim

0:51

FTP-1跨传感器通用触觉基础策略

@LeoKharon · 194次播放 · 2026-09-14

触觉基础模型机器人操控

记忆即计划：基于记忆锚定规划的世界-动作建模

主流机器人策略把动作预测写成马尔可夫形式，只看当前观测或固定短窗口，但长时程操作往往是非马尔可夫的：决策所需的信息早已离开视野。MaP-WAM 提出「记忆即计划」：已完成的片段被记为「语言指令 + 稀疏视觉上下文」的结构化多模态情景记录（每段均匀采样 8 帧），规划时由微调的 Qwen3.5-4B 语言规划器给出下一段语言计划，再由基于 WAN-2.2-5B 的因果世界模型从长时视觉上下文生成对应的视觉计划，两者组成记忆锚定计划；执行侧的 World-Action-Progress（WAP）模型用 Mixture-of-Transformers 架构联合预测动作块、未来视觉 latent 与执行进度，进度作为一等模态参与条件与反馈。执行器只以固定长度的计划为前缀，上下文不随历史增长，块因果注意力让规划与执行两侧都可做 KV 缓存；计划-观测对齐用当前观测与视觉计划帧的像素差校准递归进度估计，进度门控（阈值 0.95）触发片段切换并把真实观测重采样写回记忆。RMBench 九个记忆依赖任务平均成功率 83.3%（最强基线 LingBot-VA 为 77.1%），真机 Franka Research 3 两个任务 88% 与 68%、平均 78.0%；1700 帧历史下全上下文执行器显存超 80GB 直接 OOM，而 WAP 保持约 827ms 每动作块的近似恒定延迟。局限：依赖基准自带的片段标注、未做自动分段；计划-观测对齐用免训练的像素差度量，复杂视觉场景下可换学习型相似度。

Sizhe Zhao, Haozhe Xie, Weiyu Zhao2026年9月10日

世界动作模型Long-Horizon MemoryMemory-Grounded Planning2026年9月10日

IMLE-VLA：用单步条件隐式最大似然估计加速视觉-语言-动作策略

VLA 策略的推理瓶颈不在视觉语言主干，而在动作头：扩散/流匹配头要跑 10 步 Euler 积分才出一个动作块，机器人只能在等待里停-走-停。IMLE-VLA 把 π0.5 的迭代动作头换成单步条件生成器，用条件隐式最大似然估计（cIMLE）训练——每步采 m 个噪声候选，把专家动作只匹配给最近的那一个候选（最近邻分配不回传梯度），其余候选因此可以自由地去覆盖别的模式，天然避免朴素回归头的模式坍缩。改动只限于动作头，3B VLM 主干完全冻结并原样保留，因此推理频率从 15 Hz 提到 55 Hz（3.67×），配合更长执行时域 H 动作吞吐最高 11.0×。LIBERO 40 任务平均成功率 98.0%，是所有对比方法里最高且同时最快；LIBERO-plus 五个等级的测试时扰动下保持 π0.5 的鲁棒性，而 OpenVLA-OFT 等基线急剧退化。真机 Franka Panda 四个任务全部超过 π0.5（19/15、18/15、15/12、16/12，每任务 20 回合），本体感受 jerk 低 2.2×–3.0×，每回合 VLA 前向耗时降 3.9×–6.6×。局限：加大 H 是拿反应性换吞吐；m=1 时退化为条件均值回归；评测集中在 LIBERO 与单臂桌面任务。

Hosseinkhani, Kian, Peng, Qinhe, Shramko, George2026年9月10日

视觉语言动作模型Efficient InferenceSingle-Step Action Generation2026年9月10日

0:48

Atlas在模拟工地搬料攀架投工具

@akwarobo · 262次播放 · 2026-09-12

波士顿动力Atlas人形机器人

GE-Act 2.0：世界-动作模型预训练与规模扩展

GE-Act 2.0 以控制导向自编码器、单步视觉规划器和逆动力学模型构建世界-动作系统，并用 KASO 对齐生成未来与动作监督。共享操作数据从 300 扩充到 30,000 小时后，G1-OP 与 G2-90D 的零样本分布外成功率分别达到 44.1% 和 31.1%。

AgiBot Research Team, Renhang Liu, Wenzhi Zhao2026年9月4日

世界动作模型机器人操控具身智能2026年9月4日

1:23

RD-VLA 在潜空间中迭代推理

@DJiafei · 242次播放 · 2026-02-10

视觉语言动作模型Latent ReasoningRecurrent Networks

0:14

PPS：推理时引导冻结的基座策略

@TritiumAc · 174次播放 · 2026-09-11

机器人基础模型Policy AdaptationInference-Time Steering

A4A：从人类演示跨具身迁移面向动作的4D可供性

人类视频里什么信息能真正迁移到机器人控制？A4A 的答案不是静态可供性掩码，而是「面向动作的 4D 可供性」：语言条件下、与交互相关的 3D 点在未来一段时间的运动轨迹。几何依据是短程对应——短时域内交互点运动与末端执行器位移都可由 SE(3) 刚体/准刚体变换近似，是同一次操作转移的两种描述。作者用 HOI4D、EPIC-KITCHENS 与自采 RGB-D 构建超 8 万段语料，经 GroundingDINO + SAM 2 + CoTracker3 + LingBot-Depth 重建保身份 3D 点轨迹。训练分两阶段：先用基座 VLA 的原生目标族预测点运动残差，再把点接口换回机器人本体感受与动作接口，共享隐模块完整保留、不加额外时序网络，因此能同时套到自回归、回归、扩散与两种流匹配五种范式。LIBERO-Object 上五个策略全部提升（Octo 28.2→57.2、OpenVLA 66.4→76.4、π0 77.8→87.8）；RLBench 平均 39.0→61.0，纯 RGB 执行即超过用 3D/4D 观测的 ManiGaussian(51.0)；同架构只换预训练数据的对照实验 41.0→60.0，证明增益来自以交互为中心的监督；真实 Piper 六技能四策略 56.7%→72.5%。局限：大幅非刚性形变、严重滑移与反复接触切换、多圈拧盖类双臂协调。

Yifan Han, Litao Liu, Yuqi Gu2026年9月5日

视觉语言动作模型Affordance4D Affordance2026年9月5日

Harness VLA：用记忆引导的智能体把冻结 VLA 驾驭成可靠的操作原语

语言条件操作既需要精确的富接触控制，也需要对语言、场景和长时程的稳健推理。端到端视觉-语言-动作（VLA）模型提供强大的局部视觉运动技能，但它们是在分布内任务轨迹上训练的，在语义重定向、目标重绑定、空间布局偏移和局部接触不稳定等部署扰动下常常失效。LLM 编码智能体提供互补的语义与组合推理，但纯解析原语在不规则抓取、受限放置和铰接物体交互上表现很差。本文提出 Harness VLA，一个记忆增强的智能体框架：它把一个冻结的 VLA 暴露为可重试的富接触原语，并与一个小型固定的解析原语库组合，用于接地、暂存、搬运、导航和释放。框架不去扩大技能库，而是从任务特异的执行轨迹、全局成功规则和失败模型中学习这些固定原语的工作范围。通过把语义重接地、非接触执行和 VLA 重暂存上提到规划器，同时把冻结 VLA 留给局部富接触阶段，Harness VLA 在不微调的前提下把预训练 VLA 扩展到其原始轨迹分布之外。在被扰动的桌面操作、家庭厨房操作和 clean-to-randomized 双臂操作上，Harness VLA 在 LIBERO-Pro 和 RoboCasa365 上分别比最强相关基线高出 38.6 和 27.1 个百分点，并在 RoboTwin C2R 上达到 58.4%。代码开源于 https://github.com/RLinf/RPent 。

Yixian Zhang, Huanming Zhang, Feng Gao2026年7月9日

视觉语言动作模型机器人操控LLM智能体2026年7月9日