VAP-TAMP 精读：用动作知识引导 VLM 主动感知——机器人在执行中发现「门只开了一半」怎么办
SUNY Binghamton + CMU + Ford Research + Agility Robotics，TAMP（任务与运动规划）+ VLM 主动感知框架。核心问题：TAMP 规划假设全知世界，但真实执行中随时冒出计划外状况——门只半开过不去、柠檬切半后一半掉出盘子。既有开放世界规划方法隐含假设「状况是完全可观测的」，而现实中机器人只能靠不靠谱的机载传感器。VAP-TAMP 的关键创新是 **VLM 与动作知识的双向交互**：用当前动作 PDDL 前置条件/效果构造视觉问句去 prompt VLM，再用 VLM 输出更新动作知识。三个模块：① 场景图生成器（RGB-D 点云+实例分割+CLIP 嵌入，几何规则判定 on/inside/near，动作驱动+观测驱动双通道更新）；② 主动感知（对每个谓词生成 N 个语义等价问句让 VLM 多数投票，响应不一致→VLM 建议视角方向（left/right/closer/above）→导航过去再看，预算 K 内循环直至视图充分）；③ 状况处理（verify-execute-verify 闭环：动作前验前置条件、动作后验效果，任一失败→修正场景图→PDDL 重规划；诊断区分感知错误/世界状态变化/执行失败三种根源）。真机实验：Segway RMP+UR5e+Robotiq 夹爪，4 个家务任务×25 次共 100 试，**成功率 88%**（OK-Robot 76%、COWP 69%、Closed-World 33%），72/100 试验中至少出现一次计划外状况；VLM 引导选视角平均 1.61 个 vs 贪心遍历 4.35 个（省 63%）；失败模式显示 VAP-TAMP 的失败集中在操作硬件（42%），感知瓶颈被转移走。仿真实验（OmniGibson，5 任务+注入故障概率）证明基于具体状态谓词的验证优于 SuccessVQA/AffordanceVQA 及其组合，效果验证贡献大于前置条件验证（抓取/切割各 50% 组合故障率只能靠后验发现）。