Skip to content
Agientry
← 标签

#MLLM (9)

瀑布流分页
HarnessVLN：面向免训练具身导航的智能体执行框架

HarnessVLN：面向免训练具身导航的智能体执行框架

具身导航要求智能体把语言指令或目标物体落到空间观测，并将规划转换成可执行动作。HarnessVLN 提出免训练、零样本的智能体执行框架，用共享工具接口协调感知、分层事件记忆、持续时空图与导航执行，并在派发前核验证据支持、几何可行性和子目标一致性。结构化执行反馈会更新任务进度、空间证据与失败记录，进而约束后续规划、回退和停止。在 R2R、RxR、HM3D-v2 与 HM3D-OVON 上，成功率分别为 60.8%、53.9%、76.0% 和 59.3%，均高于论文列出的既往免训练方法；AgiBot A3U 人形机器人上的三个真实场景进一步展示了跨任务部署可行性。项目页为 https://agibot-harnessvln.netlify.app/。

Yang Chen, Lirong Che, Zhenyu Huang · 43次阅读 · 2026年9月14日
视觉语言导航具身智能
2026年9月14日
InteractiveWorld：面向交互式 MLLM 助手的可验证人本环境

InteractiveWorld：面向交互式 MLLM 助手的可验证人本环境

Meta 与 Duke 提出 InteractiveWorld：首个可验证的人—助手闭环交互环境。助手共享用户的第一人称视角，用自然语言给出指导；由 MLLM 驱动的人类智能体把指导落成 36 个动作原语之一，Isaac Sim 执行动作、更新世界状态并渲染下一段视角。在其之上构建 InteractiveBench：6 类共 120 个人工复核的多轮任务，成败由最终物体状态自动判定，不靠文本评判。12 个前沿 MLLM 的评测显示，最强的 Claude Fable 5.1 也只通过 41.7% 的任务，长程 Guidance 与 Planning 仅 20.0% 与 25.0%；失败任务的首个错误中 70.4%—85.7% 来自视觉感知与记忆。

Qinsi Wang, Wei Wen, Chong Zhou · 189次阅读 · 2026年10月25日
MLLMEgocentric AI Assistant
2026年10月25日
InteractiveBench：真实世界评测
0:22

InteractiveBench：真实世界评测

@HuggingPapers · 85次播放 · 2026-10-27
InteractiveBenchInteractiveWorld
SimpleVLN：不改架构释放原生多模态大模型的视觉语言导航能力

SimpleVLN：不改架构释放原生多模态大模型的视觉语言导航能力

视觉语言导航（VLN）要求具身智能体把自然语言指令落到第一视角观测上并完成长程决策。现有方法大多靠任务专用结构补能力——全景拼接、3D 几何编码器、双系统分层决策——因此很难判断成绩里有多少来自 MLLM 本身。SimpleVLN 把问题反过来问：在引入任何任务专用模块之前，原生 MLLM 的导航潜力是否已经被榨干？ 它的回答分三层。表述层：每次决策都重新构造一轮独立输入，即指令 + 当前观测 + 固定预算的全局-局部历史（默认全局 8 帧均匀采样、局部 1 帧），不再累积成越来越长的多轮对话；输出侧用动作块，一次推理给出多个基元动作（前进 0.25 m、左右转 15 度、停止）依次执行。数据层：R2R、RxR、ScaleVLN 的专家演示转成决策级监督样本，基于偏离度的 DAgger 在策略自己走到的状态上收集纠偏轨迹，RL 任务则在训练场景里自动合成新的起点-终点与指令。优化层：IL 到 DAgger 再到 RL 三段递进，RL 只用二值成功奖励（停在目标 3 m 内记 1 分），主结果用 DAPO 训 40 步。 只用单目 RGB、不改一行网络结构，Qwen3.5-9B 版在 R2R-CE 与 RxR-CE 的 val-unseen 上分别拿到 76.7% 与 80.1% 成功率，超过依赖全景、深度或里程计的现有方法；单次动作块决策耗时 293 ms。消融显示单轮输入把成功率从 35.7% 抬到 53.6%，DAgger 再贡献 7.5 与 8.1 个点。评测代码与八个权重已开源，并在 Daystar 四足机器人（Jetson Thor 机载）上完成真实环境验证。

Lingyi Hong, Weiren Cai, Jiayu Chen · 282次阅读 · 2026年10月16日
视觉语言导航具身智能
2026年10月16日
VideoJev:视频理解与交互的系统一模型
1:31

VideoJev:视频理解与交互的系统一模型

@_akhaliq · 236次播放 · 2026-10-14
VideoJev视频理解
UniLM-Nav:面向零样本最后一米导航的统一框架

UniLM-Nav:面向零样本最后一米导航的统一框架

移动操作中,物体导航只把机器人送到目标附近,真正决定成败的是其后把基座调整到可操作位姿的最后一米。UniLM-Nav 用同一个 MLLM 后端把这一段显式分解为三个阶段:从短期观测记忆中按可见性与可接近性选出参考视角;把任务指令接地为归一化交互点,并用深度反投影提升为 3D affordance;再条件于该 3D 点、机器人构型与任务指令推理基座位置,朝向则由几何闭式解给出而非模型预测。框架完全零样本,在 HomeRobot OVMM 验证集上以 23.77% 的总体成功率超过此前最强的 MoTo 3.13 个百分点,13 个 MLLM 后端的对照显示具身空间数据微调的 4B 模型可胜过 235B 通用模型,真机在宇树 B2 四足加 Z1 机械臂平台上以 52.5% 的成功率完成闭环验证。

Zhuofan Zhang, Tianxu Wang, Guoxi Zhang · 390次阅读 · 2026年7月7日
移动操作Last-Mile Navigation
2026年7月7日
航空多模态大模型智能体的零样本任务级评估

航空多模态大模型智能体的零样本任务级评估

多模态大模型正成为航空任务的核心,本工作提出零样本任务级评估框架。

Suman Navaratnarajah, Taehyoung Kim, Jona Ruthardt · 467次阅读 · 2026年7月24日
AerialMLLM
2026年7月24日
Ego Scene Augmentation:增强多模态大模型第一人称空间感知

Ego Scene Augmentation:增强多模态大模型第一人称空间感知

针对多模态大模型在第一人称场景中空间推理能力不足的问题,提出Ego Scene Augmentation方法,通过场景增强提升第一人称视觉问答的空间感知能力。

Chi Kit Wong, Ye Pan, Yuanhuiyi Lyu · 506次阅读 · 2026年7月16日
MLLM第一人称
2026年7月16日
超越单一专家:MLLM空间理解中多样视觉先验的协调

超越单一专家:MLLM空间理解中多样视觉先验的协调

揭示将多个基础模型集成到MLLM时不同模型提供互补空间先验,提出协调多样视觉先验的方法,提升多模态大模型空间理解能力。

Xiao Lin, Xiaohu Huang, Kai Han · 421次阅读 · 2026年7月16日
MLLM空间理解
2026年7月16日

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。