论文

HIL-UMI：把 VLA 人在环后训练搬离机器人本体

HIL-UMI 用手持 UMI 夹爪做人机在环 VLA 后训练：人在演示时，同一观测流上并行跑当前策略但不执行其预测，用 Energy Score 比较人类动作块与策略动作分布，超阈值即判为分布外（OOD）并触发定点采集；另一条回路上，在线优势预测偏低的片段被收来重训基于任务进度的优势估计器，再由它给数据打二元优势标签做优势条件行为克隆（ACBC）。四个真机任务上持续优于 SFT，Stack Cube 三轮后 TPS 84→100；对比真机 HG-DAgger，Clean Up Table 每帧采集时间 73.40ms 对 412.99ms，快 5.63 倍且末轮 TPS 高约 5 分。

视觉语言动作模型Human-in-the-Loop后训练Han, Zimu, Zeng, Yiming, Zhang, Jiyao·2026年9月17日

IMLE-VLA：用单步条件隐式最大似然估计加速视觉-语言-动作策略

VLA 策略的推理瓶颈不在视觉语言主干，而在动作头：扩散/流匹配头要跑 10 步 Euler 积分才出一个动作块，机器人只能在等待里停-走-停。IMLE-VLA 把 π0.5 的迭代动作头换成单步条件生成器，用条件隐式最大似然估计（cIMLE）训练——每步采 m 个噪声候选，把专家动作只匹配给最近的那一个候选（最近邻分配不回传梯度），其余候选因此可以自由地去覆盖别的模式，天然避免朴素回归头的模式坍缩。改动只限于动作头，3B VLM 主干完全冻结并原样保留，因此推理频率从 15 Hz 提到 55 Hz（3.67×），配合更长执行时域 H 动作吞吐最高 11.0×。LIBERO 40 任务平均成功率 98.0%，是所有对比方法里最高且同时最快；LIBERO-plus 五个等级的测试时扰动下保持 π0.5 的鲁棒性，而 OpenVLA-OFT 等基线急剧退化。真机 Franka Panda 四个任务全部超过 π0.5（19/15、18/15、15/12、16/12，每任务 20 回合），本体感受 jerk 低 2.2×–3.0×，每回合 VLA 前向耗时降 3.9×–6.6×。局限：加大 H 是拿反应性换吞吐；m=1 时退化为条件均值回归；评测集中在 LIBERO 与单臂桌面任务。

视觉语言动作模型Efficient InferenceSingle-Step Action GenerationHosseinkhani, Kian, Peng, Qinhe, Shramko, George·2026年9月10日

LEGS：无需遥操作的仿人操作策略微调

LEGS 用网格前景与三维高斯泼溅背景合成人形全身操作数据，并以运动基元自动生成演示。实验显示其训练策略在 Unitree G1 上匹敌或超过人工遥操作数据，跨场景泛化成本更低。

人形机器人视觉语言动作模型3D高斯泼溅Kim, Hojune, Chen, Timothy, Sun, Jiankai·2026年5月31日

A4A：从人类演示跨具身迁移面向动作的4D可供性

人类视频里什么信息能真正迁移到机器人控制？A4A 的答案不是静态可供性掩码，而是「面向动作的 4D 可供性」：语言条件下、与交互相关的 3D 点在未来一段时间的运动轨迹。几何依据是短程对应——短时域内交互点运动与末端执行器位移都可由 SE(3) 刚体/准刚体变换近似，是同一次操作转移的两种描述。作者用 HOI4D、EPIC-KITCHENS 与自采 RGB-D 构建超 8 万段语料，经 GroundingDINO + SAM 2 + CoTracker3 + LingBot-Depth 重建保身份 3D 点轨迹。训练分两阶段：先用基座 VLA 的原生目标族预测点运动残差，再把点接口换回机器人本体感受与动作接口，共享隐模块完整保留、不加额外时序网络，因此能同时套到自回归、回归、扩散与两种流匹配五种范式。LIBERO-Object 上五个策略全部提升（Octo 28.2→57.2、OpenVLA 66.4→76.4、π0 77.8→87.8）；RLBench 平均 39.0→61.0，纯 RGB 执行即超过用 3D/4D 观测的 ManiGaussian(51.0)；同架构只换预训练数据的对照实验 41.0→60.0，证明增益来自以交互为中心的监督；真实 Piper 六技能四策略 56.7%→72.5%。局限：大幅非刚性形变、严重滑移与反复接触切换、多圈拧盖类双臂协调。

视觉语言动作模型Affordance4D AffordanceYifan Han, Litao Liu, Yuqi Gu·2026年9月5日

Harness VLA：用记忆引导的智能体把冻结 VLA 驾驭成可靠的操作原语

语言条件操作既需要精确的富接触控制，也需要对语言、场景和长时程的稳健推理。端到端视觉-语言-动作（VLA）模型提供强大的局部视觉运动技能，但它们是在分布内任务轨迹上训练的，在语义重定向、目标重绑定、空间布局偏移和局部接触不稳定等部署扰动下常常失效。LLM 编码智能体提供互补的语义与组合推理，但纯解析原语在不规则抓取、受限放置和铰接物体交互上表现很差。本文提出 Harness VLA，一个记忆增强的智能体框架：它把一个冻结的 VLA 暴露为可重试的富接触原语，并与一个小型固定的解析原语库组合，用于接地、暂存、搬运、导航和释放。框架不去扩大技能库，而是从任务特异的执行轨迹、全局成功规则和失败模型中学习这些固定原语的工作范围。通过把语义重接地、非接触执行和 VLA 重暂存上提到规划器，同时把冻结 VLA 留给局部富接触阶段，Harness VLA 在不微调的前提下把预训练 VLA 扩展到其原始轨迹分布之外。在被扰动的桌面操作、家庭厨房操作和 clean-to-randomized 双臂操作上，Harness VLA 在 LIBERO-Pro 和 RoboCasa365 上分别比最强相关基线高出 38.6 和 27.1 个百分点，并在 RoboTwin C2R 上达到 58.4%。代码开源于 https://github.com/RLinf/RPent 。

视觉语言动作模型机器人操控LLM智能体Yixian Zhang, Huanming Zhang, Feng Gao·2026年7月9日

TANGO：用全身视觉-语言-动作模型在杂乱环境中导航

人形机器人在杂乱室内的导航不是 2D 路径规划问题：身体的几何形状在运动中持续变化，穿过狭窄通道需要手臂摆放、躯干调整与步态调制的连续协同。TANGO 是首个面向杂乱环境语言条件通行的全身视觉-语言-动作框架，输入自然语言指令与第一视角 RGB 观测，直接预测 29 自由度关节空间动作块交给下游全身控制执行。训练数据全部在仿真中合成：Plan-Edit-Track（PET）管线用全局路径规划、运动学全身动作生成、障碍感知动作编辑与强化学习跟踪自动产出 64,633 条动力学可行的无碰撞通行轨迹，仅耗 211 GPU 小时。TANGO 在 VLNVerse 上取得 54.69 / 52.89 的 seen / unseen 成功率，是对比方法中唯一具备真实物理控制能力的，并把杂乱场景碰撞率压到 9.90%（最强基线 15.81%，且对方额外使用了 LiDAR）。零样本部署到 Unitree G1 后，可在真实杂乱场景中完成语言引导通行，无需任何真实导航数据。已被 CoRL 2026 接收。

人形机器人视觉语言动作模型导航Anqi Li, Yuxin Chen, Zhaobo Li·2026年9月8日

VLA-Corrector：面向自适应动作视界的轻量级检测与纠正推理

视觉-语言-动作（VLA）基础模型在具身智能上进展显著。为降低策略调用频率并保持时间连贯性，多数生成式策略采用动作块机制，在固定动作视界下以开环方式执行多步未来动作。然而这种先预测后盲目执行的范式牺牲了闭环反应性：在接触丰富的物理交互中，即使微小的局部扰动也会在开环盲区内迅速放大，导致误差复合并最终任务失败。为此本文提出 VLA-Corrector，一个面向动作块 VLA 策略的轻量纠正推理框架。在不修改主干策略权重的前提下，VLA-Corrector 引入轻量潜空间视觉监控器（LVM），持续比较预测与实际的视觉特征演化，实现在线检测视觉动力学偏差；一旦检测到持续偏差，系统触发截断事件、丢弃剩余陈旧动作，并通过在线梯度引导（OGG）发起纠正重规划。该检测-纠正机制自然诱导出事件触发的自适应动作视界：当前动作块可靠时保留长视界执行，执行开始漂移时调用短视界纠正重规划，从而缓解静态视界在执行鲁棒性与策略调用频率之间的权衡。VLA-Corrector 可在不重训 VLA 主干的情况下集成到不同 VLA 模型中，在保留动作块效率收益的同时中断复合误差，显著提升长视界、接触丰富机器人操作任务的鲁棒性。

视觉语言动作模型Robotic Manipulation动作分块Yi Pan, Miao Pan, Qi Lu·2026年7月2日

π0.7：可操控的通用机器人基础模型与涌现能力

Physical Intelligence 提出可操控的机器人基础模型 π0.7：通过语言指令、子目标图像与任务元数据等多模态上下文条件化，在未见环境多阶段任务、零样本跨本体泛化中开箱即用，性能比肩 RL 微调专用策略，并展现涌现能力。

机器人基础模型视觉语言动作模型vision-language-actionPhysical Intelligence, Bo Ai, Ali Amin·2026年4月16日

N₀-Foundation：迈向触觉智能时代的触觉具身操作基础（传感器、3万小时数据集、统一力表示与基准）

论文提出面向触觉具身操作的一体化范式 N₀-Foundation，覆盖硬件、数据、表示与评测四层：自研相机式触觉传感器与无机器人采集设备 N₀-TacUMI，构建超 3 万小时、6 种本体、450+ 任务的视触同步数据集 NeoData 并开源 5000 小时子集 OpenNeoData；提出以三轴稠密力场为统一监督的视触表示模型 NeoForce，实现跨传感器可迁移触觉表示；并给出真机 NeoReal（10 任务）与仿真 NeoSim（12 任务）双基准。实验表明策略收益来自物理接触状态而非触觉信号的设备外观，NeoForce 条件化使 π₀.₅ 在 NeoReal 的平均渐进分从 38.1% 提升至 47.5%。

UMI视觉语言动作模型触觉感知 NeoteAI Team, Fudan TEAI Team·2026年8月30日

FlashVLA：流式动作解码实现快速异步 VLA 推理

视觉-语言-动作（VLA）模型在机器人操作领域前景广阔，但实际部署受制于高推理延迟与不稳定的异步执行——在基于流匹配（flow-matching）的 VLA 模型中尤为突出：动作解码需要在 VLM 上下文条件下进行多步迭代。高效推理方法能提升控制频率，异步方法能减少执行空等，但现有方案往往无法同时兼顾低延迟推理与精确、时序一致的异步执行。FlashVLA 提出一个统一的流式动作解码框架：维护一个包含多个不同噪声水平动作块的流式缓冲区，并用块级因果注意力（chunk-wise causal attention）解码，每个推理步即可产出一个可执行动作块；块级自回归结构隐式保持动作连续性，无需额外的未来状态条件即可平滑异步执行。大量仿真与真机实验表明，FlashVLA 在保持强任务性能的同时大幅提升推理速度，单 GPU 即可达到 ≥30Hz 控制频率并实现平滑异步真机部署。

视觉语言动作模型流匹配英伟达Zekai Li, Jiaming Tang, Zhijian Liu·2026年8月27日

GigaBrain-0.7：用三系统架构扩展具身基础模型的涌现能力

GigaBrain-0.7 统一任务理解、未来预测、价值评估与连续动作控制，在三万七千多小时跨本体具身数据和约2.72亿VLM样本上完成单阶段预训练，并通过仿真与真机经验强化显著提升成功率。

视觉语言动作模型GigaBrain流匹配 GigaBrain Team, Angen Ye, Axiang Sun·2026年8月16日

Zetta:冻结策略模型,让执行框架自进化出物理智能

清华AIR提出Zetta闭环具身执行框架:基础VLA策略全程冻结,通过动作频率治理、回合批失败诊断、验证门控技能沉淀三个时间尺度循环,在线进化代码化运行时批评家与恢复技能;配合20.6倍吞吐的Z-Infra回滚基础设施,LIBERO-Pro成功率34.5%→90.8%,RoboCasa 73.6%→93.6%,并出现机器人顿悟时刻与零样本技能迁移。

具身智能视觉语言动作模型Agentic HarnessXin Ding, Liang Mi, Mingzhe Huang·2026年8月17日