
Social-WM:面向机器人社交导航的安全感知隐空间世界模型
社交导航不只要求机器人预判动作后果,还要求它判断一条名义动作在当前物理与社交约束下是否真能执行。Social-WM 从第一视角 RGB 序列训练一个轻量隐空间世界模型,把名义动作与可实现动作之间的系统性偏差直接用作安全信号:冻结的 DINOv2-small 把 224×224 画面编码为 16 个 384 维 token,六层 Transformer 在 T=8 的历史上预测 H=8 的未来隐状态;再用可实现逆动力学目标,以里程计恢复出的真实运动而非下发指令来监督隐空间转移。部署时 CVAE 一次提出 K=8 条动作块,全部在世界模型中想象,由逆动力学估计每条转移的可实现动作,残差超阈值的候选在执行前即被判为不安全并剔除,其余按目标代价择优。在 Habitat Social-HM3D 上取得 63.77% 成功率与 94.37% 个人空间合规率,与人碰撞率降至 21.67%(相对 NavThinker 降低 44.6%),零样本迁移到 Social-MP3D 仍为成功率最高、碰撞率最低,全程只用离线 RGB 轨迹,不需显式行人跟踪、特权人体状态或在线强化学习。
Zhihao Zheng, Mooi Choo Chuah · 11次阅读 · 2026年9月30日
Social Navigation世界模型
2026年9月30日