#流匹配 (16)

WholeBodyWAM：以全身控制器接地协调，把预训练世界-动作先验泛化到人形移动操作

WholeBodyWAM 保留 14B 预训练视频世界-动作模型的世界-动作先验，只通过统一全身控制器（UWBC）56 维命令接口接地异构 WBC 语义，再用协调感知自注意力（CASA）让操作流按任务方向与可操作度门控去驱动全身控制流，并以结构化动作因子化（SAF）把两条流分开寻址。1.5 万条 SIMPLE 演示 + LoRA（r=4）微调 5 万步后，仿真整体任务成功率 91.9%；跨 SONIC/AMO/GEAR 三个 WBC 均值 89.2%、方差 10.5 pp²（Cosmos-3 为 80.2%/35.0），真机分布内 81.3% 对最强基线 57.5%、分布外任务进度提升 0.23。

Li, Zhuo, Yao, Yiming, Tan, Jim2026年9月15日

世界动作模型人形机器人移动操作2026年9月15日

记忆即计划：基于记忆锚定规划的世界-动作建模

主流机器人策略把动作预测写成马尔可夫形式，只看当前观测或固定短窗口，但长时程操作往往是非马尔可夫的：决策所需的信息早已离开视野。MaP-WAM 提出「记忆即计划」：已完成的片段被记为「语言指令 + 稀疏视觉上下文」的结构化多模态情景记录（每段均匀采样 8 帧），规划时由微调的 Qwen3.5-4B 语言规划器给出下一段语言计划，再由基于 WAN-2.2-5B 的因果世界模型从长时视觉上下文生成对应的视觉计划，两者组成记忆锚定计划；执行侧的 World-Action-Progress（WAP）模型用 Mixture-of-Transformers 架构联合预测动作块、未来视觉 latent 与执行进度，进度作为一等模态参与条件与反馈。执行器只以固定长度的计划为前缀，上下文不随历史增长，块因果注意力让规划与执行两侧都可做 KV 缓存；计划-观测对齐用当前观测与视觉计划帧的像素差校准递归进度估计，进度门控（阈值 0.95）触发片段切换并把真实观测重采样写回记忆。RMBench 九个记忆依赖任务平均成功率 83.3%（最强基线 LingBot-VA 为 77.1%），真机 Franka Research 3 两个任务 88% 与 68%、平均 78.0%；1700 帧历史下全上下文执行器显存超 80GB 直接 OOM，而 WAP 保持约 827ms 每动作块的近似恒定延迟。局限：依赖基准自带的片段标注、未做自动分段；计划-观测对齐用免训练的像素差度量，复杂视觉场景下可换学习型相似度。

Sizhe Zhao, Haozhe Xie, Weiyu Zhao2026年9月10日

世界动作模型Long-Horizon MemoryMemory-Grounded Planning2026年9月10日

IMLE-VLA：用单步条件隐式最大似然估计加速视觉-语言-动作策略

VLA 策略的推理瓶颈不在视觉语言主干，而在动作头：扩散/流匹配头要跑 10 步 Euler 积分才出一个动作块，机器人只能在等待里停-走-停。IMLE-VLA 把 π0.5 的迭代动作头换成单步条件生成器，用条件隐式最大似然估计（cIMLE）训练——每步采 m 个噪声候选，把专家动作只匹配给最近的那一个候选（最近邻分配不回传梯度），其余候选因此可以自由地去覆盖别的模式，天然避免朴素回归头的模式坍缩。改动只限于动作头，3B VLM 主干完全冻结并原样保留，因此推理频率从 15 Hz 提到 55 Hz（3.67×），配合更长执行时域 H 动作吞吐最高 11.0×。LIBERO 40 任务平均成功率 98.0%，是所有对比方法里最高且同时最快；LIBERO-plus 五个等级的测试时扰动下保持 π0.5 的鲁棒性，而 OpenVLA-OFT 等基线急剧退化。真机 Franka Panda 四个任务全部超过 π0.5（19/15、18/15、15/12、16/12，每任务 20 回合），本体感受 jerk 低 2.2×–3.0×，每回合 VLA 前向耗时降 3.9×–6.6×。局限：加大 H 是拿反应性换吞吐；m=1 时退化为条件均值回归；评测集中在 LIBERO 与单臂桌面任务。

Hosseinkhani, Kian, Peng, Qinhe, Shramko, George2026年9月10日

视觉语言动作模型Efficient InferenceSingle-Step Action Generation2026年9月10日

A4A：从人类演示跨具身迁移面向动作的4D可供性

人类视频里什么信息能真正迁移到机器人控制？A4A 的答案不是静态可供性掩码，而是「面向动作的 4D 可供性」：语言条件下、与交互相关的 3D 点在未来一段时间的运动轨迹。几何依据是短程对应——短时域内交互点运动与末端执行器位移都可由 SE(3) 刚体/准刚体变换近似，是同一次操作转移的两种描述。作者用 HOI4D、EPIC-KITCHENS 与自采 RGB-D 构建超 8 万段语料，经 GroundingDINO + SAM 2 + CoTracker3 + LingBot-Depth 重建保身份 3D 点轨迹。训练分两阶段：先用基座 VLA 的原生目标族预测点运动残差，再把点接口换回机器人本体感受与动作接口，共享隐模块完整保留、不加额外时序网络，因此能同时套到自回归、回归、扩散与两种流匹配五种范式。LIBERO-Object 上五个策略全部提升（Octo 28.2→57.2、OpenVLA 66.4→76.4、π0 77.8→87.8）；RLBench 平均 39.0→61.0，纯 RGB 执行即超过用 3D/4D 观测的 ManiGaussian(51.0)；同架构只换预训练数据的对照实验 41.0→60.0，证明增益来自以交互为中心的监督；真实 Piper 六技能四策略 56.7%→72.5%。局限：大幅非刚性形变、严重滑移与反复接触切换、多圈拧盖类双臂协调。

Yifan Han, Litao Liu, Yuqi Gu2026年9月5日

视觉语言动作模型Affordance4D Affordance2026年9月5日

EgoWAM：超越像素的世界动作模型

把骨干、动作头与数据配比全部锁死，只换世界模型的预测目标：像素几乎不迁移，DINO 让分布外物体与场景泛化最多提升 4 倍，相机稳定 3D 流让域内提升 20–30%，而推理时世界模型头被整个丢掉，部署成本与行为克隆相同。

Baoyu Li, Xinchen Yin, Mengying Lin2026年7月8日

世界模型机器人操控模仿学习2026年7月8日

SPARK-VLN：流式潜空间动态视觉语言导航

冻结的 VILA-8B 慢推理器把逐 token 多层隐状态流式汇成 8 个潜槽，实时条件化流匹配快规划器；动态行人导航基准上理想/真实两阶段成功率 41.6%/34.8%，碰撞率最低。

Tianshuai Hu, Yangyi Zhong, Zeying Gong2026年7月18日

视觉语言导航Social NavigationDual-System2026年7月18日

VLA-Corrector：面向自适应动作视界的轻量级检测与纠正推理

视觉-语言-动作（VLA）基础模型在具身智能上进展显著。为降低策略调用频率并保持时间连贯性，多数生成式策略采用动作块机制，在固定动作视界下以开环方式执行多步未来动作。然而这种先预测后盲目执行的范式牺牲了闭环反应性：在接触丰富的物理交互中，即使微小的局部扰动也会在开环盲区内迅速放大，导致误差复合并最终任务失败。为此本文提出 VLA-Corrector，一个面向动作块 VLA 策略的轻量纠正推理框架。在不修改主干策略权重的前提下，VLA-Corrector 引入轻量潜空间视觉监控器（LVM），持续比较预测与实际的视觉特征演化，实现在线检测视觉动力学偏差；一旦检测到持续偏差，系统触发截断事件、丢弃剩余陈旧动作，并通过在线梯度引导（OGG）发起纠正重规划。该检测-纠正机制自然诱导出事件触发的自适应动作视界：当前动作块可靠时保留长视界执行，执行开始漂移时调用短视界纠正重规划，从而缓解静态视界在执行鲁棒性与策略调用频率之间的权衡。VLA-Corrector 可在不重训 VLA 主干的情况下集成到不同 VLA 模型中，在保留动作块效率收益的同时中断复合误差，显著提升长视界、接触丰富机器人操作任务的鲁棒性。

Yi Pan, Miao Pan, Qi Lu2026年7月2日

视觉语言动作模型Robotic Manipulation动作分块2026年7月2日

FlashVLA：流式动作解码实现快速异步 VLA 推理

视觉-语言-动作（VLA）模型在机器人操作领域前景广阔，但实际部署受制于高推理延迟与不稳定的异步执行——在基于流匹配（flow-matching）的 VLA 模型中尤为突出：动作解码需要在 VLM 上下文条件下进行多步迭代。高效推理方法能提升控制频率，异步方法能减少执行空等，但现有方案往往无法同时兼顾低延迟推理与精确、时序一致的异步执行。FlashVLA 提出一个统一的流式动作解码框架：维护一个包含多个不同噪声水平动作块的流式缓冲区，并用块级因果注意力（chunk-wise causal attention）解码，每个推理步即可产出一个可执行动作块；块级自回归结构隐式保持动作连续性，无需额外的未来状态条件即可平滑异步执行。大量仿真与真机实验表明，FlashVLA 在保持强任务性能的同时大幅提升推理速度，单 GPU 即可达到 ≥30Hz 控制频率并实现平滑异步真机部署。

Zekai Li, Jiaming Tang, Zhijian Liu2026年8月27日

视觉语言动作模型流匹配英伟达2026年8月27日

GigaBrain-0.7：用三系统架构扩展具身基础模型的涌现能力

GigaBrain-0.7 统一任务理解、未来预测、价值评估与连续动作控制，在三万七千多小时跨本体具身数据和约2.72亿VLM样本上完成单阶段预训练，并通过仿真与真机经验强化显著提升成功率。

GigaBrain Team, Angen Ye, Axiang Sun2026年8月16日

视觉语言动作模型GigaBrain流匹配2026年8月16日

DECOWAM：面向腿式移动操作的解耦全身世界-动作模型

DECOWAM 在冻结的 FastWAM 视频-动作主干上，通过未来等价瓶颈、底盘/手臂因子化与自我运动条件三个解耦接口建模腿式移动操作，Stage-2 可训练参数减少 232 倍，真机任务成功率 58.2%。

Siyuan Ma, Boshi Zhang, Yutian Zhang2026年8月20日

视觉语言动作模型世界模型世界动作模型2026年8月20日

HAF：层级动作流与谱潜空间强化学习将通用VLA适配人形全身运动操作

人形机器人是面向人类环境的通用智能体载体，但通用视觉-语言-动作（VLA）基础模型难以直接用于人形全身运动-操作：全身动作高维且相互耦合，单阶段架构难以协调移动、腰部姿态与双臂操作，纯离线行为克隆策略在真实部署中也往往次优。HAF（Humanoid Adaptation Framework）由两部分组成：HAF-VLA 在预训练 flow-matching VLA 之上把全身动作去噪拆为三个阶段（移动+头→腰→操作），用阶段嵌入与跨阶段 KV 缓存保留运动学依赖；HAF-Steer 在冻结的生成器之上利用流匹配可逆性与 DCT 降维，把 RL 优化限制在紧凑噪声子空间，训练正则化 SAC 策略，实现离线到在线的高效真实世界微调而无需更新大型 VLA 主干。在 7 个真实人形全身运动-操作任务上，HAF 超越单阶段 VLA 基线，显著提升全身协调与任务成功率。

Langzhe Gu, Chengkai Hou, Meng Li2026年8月17日

视觉语言动作模型人形机器人全身2026年8月17日

VLK：在重建场景中合成人类交互，学习人形机器人移动操作

本文提出视觉-语言-运动学（VLK）框架：在 3D 高斯泼溅重建的真实室内场景中合成导航与物体交互轨迹，并事后渲染第一人称观测，自动生成 4.8 万条视觉-语言-运动学配对数据，训练出预测 Unitree G1 全身运动轨迹的策略，经接触感知全身跟踪器执行，实现 sim-to-real 的感知驱动人形移动操作。

Yen-Jen Wang, Jiaman Li, Sirui Chen2026年6月29日

人形机器人移动操作合成数据2026年6月29日

SimWAM：端到端自动驾驶的简单世界-动作模型

提出将视频生成仅作为训练信号的简洁世界-动作模型，联合训练视频专家和轻量动作专家，用隔离注意力掩码使动作预测独立于未来帧，训练后丢弃视频分支保留自包含规划器直接预测轨迹，并用强化学习优化组合驾驶奖励，在 NAVSIM 上达 91.5 PDMS。

Zongchuang Zhao, Xin Zhou, Tianyang Xu2026年8月7日

NAVSIMSimWAM世界动作模型2026年8月7日

两只手比一个大脑更难：VLA 双臂操作与真实部署全景综述解读

Chef Robotics 的 Inkyu Sa 撰写的 35 页综述，从产业一线视角覆盖 200+ 文献与 31 个方法：以'耦合紧密度×动作头发射方式'为坐标系组织双臂 VLA 领域，论证 flow matching 头+动作分块是最强双臂方案（赢在十步积分），并剖析基准与真实部署之间两个数量级的鸿沟及三大缺口（力觉、评估、数据）。

博客

视觉语言动作模型Bimanual流匹配Chef Robotics双臂操作

RL2-VLA：VLA 模型自适应 RL 潜空间组合引导与测试时扩展

提出 RL2 自适应推理时引导框架，在 VLA 动作专家潜空间上训练轻量离线 RL 策略，推理时将其流速度与冻结 VLA 组合，仅在预测失败时激活引导，在 SIMPLER 和 PolaRiS 基准上 OOD 场景成功率提升达 17.3%，真机实验验证迁移有效。

Derek Ming Siang Tan, Shailesh Shailesh, Srikrishna Iyer2026年7月29日

视觉语言动作模型RL2-VLA强化学习2026年7月29日

0:46

FLUX 3:Black Forest Labs发布真实世界模型

@shao__meng · 172次播放 · 2026-07-24

FLUX 3Black Forest Labs世界模型