PAPER DEEP DIVE
HA-VLN 2.0:面向离散与连续环境中动态多人交互的人本导航开放基准与排行榜
现有视觉语言导航研究大多分别面向离散或连续空间,并把行人简化为静态障碍。HA-VLN 2.0 统一两类导航范式,引入动态多人、个人空间约束和社会线索指令,发布 HAPS 2.0、HA-R2R、双仿真器、基线智能体、真实机器人验证与公开排行榜。基准包含 16,844 条社交指令,实验显示引入人本训练可提升成功率并减少碰撞,但在突发人群运动和受限通道中仍有明显失效。
论文题目:HA-VLN 2.0: An Open Benchmark and Leaderboard for Human-Aware Navigation in Discrete and Continuous Environments with Dynamic Multi-Human Interactions
作者:Yifei Dong、Fengyi Wu、Qi He、Lingdong Kong、Heng Li、Minghan Li、Zebang Cheng、Yuxuan Zhou、Jingdong Sun、Qi Dai、Alexander G. Hauptmann、Zhi-Qi Cheng
论文全文:https://arxiv.org/abs/2503.14229
官方代码:https://github.com/UWMILab/HA-VLN,公开仓库采用 MIT 许可证;本文核对提交为 4e1d1fe4ceebee7253d3ba53c04468a8bc2c16c8。
一句话总结
HA-VLN 2.0 把离散与连续视觉语言导航放进同一套包含动态多人、社会空间约束和明确碰撞指标的任务体系中,并以 HAPS 2.0、HA-R2R 数据、两类参考智能体、公开排行榜和四类真实室内场景验证构成完整基准。
研究背景与问题
视觉语言导航要求智能体理解“沿走廊前进”“经过沙发后左转”这类自然语言,并在三维场景中执行连续或离散移动。过去的主流评测大多把环境视为静态布景,人类即使出现,也往往只是一个需要绕开的固定障碍物。这种设定模糊了真实部署中最困难的部分:行人会走动、成组聚集、突然改变方向,而且许多语言指令只有借助人的动作才能被正确理解。
论文把缺口拆成三个方面。首先是社会感知不足。真实机器人不仅要避免几何碰撞,还要尽量尊重个人空间,并判断从哪一侧通过更自然。其次是语言粒度不足。传统 Room-to-Room 风格指令偏重物体和方向,很少描述“有人正在打电话”“一家人围坐交谈”这类与当前活动绑定的线索。最后是环境动态性不足。当人群在走廊、门口或楼梯附近临时成形时,智能体必须重新规划,而不能只按预先算好的静态路径前进。
HA-VLN 1.0 已经尝试把人引入 VLN,但其运动数据存在文本与动作错配,场景以离散视角跳转为主,多数情形只考虑单个人,因此还不足以支撑可复现的多人社会导航研究。HA-VLN 2.0 的目标不是只增加一批视频或几十条指令,而是同时改造运动数据、场景标注、仿真接口、指令语料、评价指标和真实机器人验证链路。
这项工作最值得关注的判断是:社会导航的难点并不等于“多放几个动态障碍物”。论文的消融显示,把真人替换为圆柱体会显著降低碰撞率并提高成功率;去掉多人交互和运动丰富化也会让任务变简单。也就是说,人类活动本身改变了场景的可通行性、可预测性和语言 grounding 难度,模型不能只依赖几何避障来解决。
统一的任务状态与动作接口
论文先把离散和连续导航统一为部分可观测决策过程。每一步的智能体状态由三维位置、朝向和视场内的观测共同构成:
$$s_t=\langle \mathbf p_t,o_t,\Theta_t^{\mathrm{FOV}}\rangle.$$其中,$\mathbf p_t$ 是智能体位置,$o_t$ 是朝向信息,$\Theta_t^{\mathrm{FOV}}$ 表示自我中心视觉观测。状态中不直接给出所有行人的完整轨迹,因此智能体需要在遮挡和视野受限的条件下推测下一步风险。
动作集合被写成统一形式:
$$\mathcal A=\{a_{\mathrm{forward}},a_{\mathrm{left}},a_{\mathrm{right}},a_{\mathrm{up}},a_{\mathrm{down}},a_{\mathrm{stop}}\}.$$连续环境把前进和转向落实为更细的物理位移,例如每次前进 $0.25\,\mathrm m$、转向 $15^\circ$;离散环境则在可通行视角之间跳转。两者共用动作语义,使同一套策略接口可以在两类仿真器中比较,但具体执行分辨率仍不相同,因此论文没有把两边的数字简单混为一个排行榜。
社会空间约束也采用分制式定义。离散环境使用三米的邻近阈值,连续环境用人体与智能体的重叠半径触发碰撞。其意图不是声称两种米制完全等价,而是要求两个范式都显式记录人本约束,避免出现连续环境已经碰撞、离散环境却因跳步而“穿人而过”的错误结论。
HAPS 2.0:从动作库到可交互人群
HAPS 2.0 包含 486 个经过验证的人体动作、172 类活动、约 5.8 万帧运动,累计标注工作量超过 430 小时。数据覆盖 26 类区域、90 个建筑场景、910 个人体模型和 428 个标注区域。与 HAPS 1.0 相比,动作数量从 435 增加到 486,动作准确度从 6.3 提升到 8.5,动作与环境的兼容性从 5.9 提升到 8.1,失败动作从 120 个降为 0。
这些数字背后有两项关键改动。第一项是动作与文字描述的重新对齐。旧数据中有超过一半的区域与动作配对不够准确,作者通过两轮人工检查删除错误项,再把保留下来的 172 类精确动作重新映射到不同室内外区域。第二项是增加多人体交互,包括 111 个户外人物、72 个双人组、59 个三人组、15 个四人组和 268 个复杂动作,使同一区域不再只绑定少数固定行为。
人体运动由 SMPL 参数序列表示。对单个动作而言,一个片段可以写成包含 120 帧的姿态序列:
$$\mathcal H=\langle h_1,h_2,\ldots,h_{120}\rangle,\qquad h_k\in\mathbb R^{P}.$$这里 $h_k$ 表示第 $k$ 帧的人体参数,$P$ 是 SMPL 姿态、形状和全局位移等参数的维度。仿真器在运行时按场景、视角和帧号查询对应的三维模型,并同步人体位置与朝向。场景中最多同时维护约 10 个人;在单张 24 GB 显卡上可达到 30 至 60 帧每秒,模型轮换和场景更新的检索延迟低于 50 毫秒。
两阶段标注:PSO 先放置,九相机再核验
只生成自然的人体动作还不够,动作还必须与区域、家具和可通行空间对齐。作者采用由粗到细的标注流程。粗阶段先根据区域边界和对象列表为动作寻找候选位置,再用粒子群优化搜索满足安全距离和几何约束的放置点。对象集合可写为 $\mathbf O=\{j_1,j_2,\ldots,j_n\}$,其中 $j_i$ 的已知位置为 $\mathbf p^{j_i}$。
论文为人体与物体之间设置 $ \epsilon=1\,\mathrm m $ 的最小净空,并把碰撞、越界和姿态不合理作为罚项加入优化目标。可将其概括为:
$$f(\mathbf p)=d(\mathbf p^h,\mathbf p^{j_i})+P_{\mathrm{constraints}}(\mathbf p),$$ $$\mathbf p^{h_i}_{\mathrm{opt}}=\arg\min_{\mathbf p\in\mathcal R_i} f(\mathbf p).$$第一项让动作靠近与活动语义相关的目标物,第二项对穿墙、悬空、与人或家具重叠等情况施加惩罚。它并不替代人工判断,而是把明显不可能的位置先排除,减少后续检查成本。
精标注使用九路相机。八个侧向相机围绕人体布置,第 $i$ 个侧向相机的水平角为:
$$\theta_{\mathrm{lr}}^i=\frac{\pi i}{8},\qquad i=1,\ldots,8.$$相机俯仰角根据奇偶编号交替,以同时检查脚部接触、头顶高度和模型与家具之间的穿模:
$$\tan\theta_{\mathrm{ud}}^i=\begin{cases}0,&\text{当 }i\text{ 为奇数},\\[4pt]\dfrac{\Delta_z}{\sqrt2\,\epsilon},&\text{当 }i\text{ 为偶数}.\end{cases}$$第九路相机从正上方观察,水平角为 0,俯仰角为 $\pi/2$。这套布置让人工标注者能从地面接触、侧向轮廓和顶视图三个方向判断人体是否悬空、倾斜或穿入墙体。
官方仓库把以上设计直接落实到运行代码。例如 HASimulator/environments.py 用前后台双线程维护帧刷新信号,每 120 帧循环一次人体模型,并把当前人体位置写入仿真状态,供距离与碰撞度量读取。论文强调的低延迟不是静态渲染指标,而是动作循环中实时更换人体网格后的结果。
HA-R2R:把人的行为写进导航指令
HA-R2R 在 R2R-CE 的连续路径基础上生成 16,844 条社会语境指令,训练、已见验证、未见验证和测试集分别为 10,819、778、1,839 和 3,408 条。测试集包含 18 个未参与训练的建筑,并有意识地提高多人路线比例。语料不是简单给原指令加上“注意行人”,而是把人正在做什么、与谁互动、智能体应如何避让写入路径描述。
平均指令长度从 R2R-CE 的 27 个词增加到 112 个词,词表从 2,616 增加到 5,032。多数指令中,与人类相关的内容占 20% 至 60%。这带来两种新负担:一方面,文本 grounding 需要把活动描述与画面中的具体人物对应起来;另一方面,同一条路径可能因人群位置变化而出现不同安全解法,模型必须区分“语义上正确的目标”和“当前时刻可执行的路线”。
论文使用 ChatGPT-4o 与 LLaMA-3-8B-Instruct 做少样本扩写,再经过多轮人工修订。提示词要求保持中性、可验证和路径相关,避免加入无法从画面确认的心理状态。这个流程不能被理解为直接把原始标注交给语言模型自由创作;其关键是固定路径结构、引入真实活动类型,并由人工删除多余或主观的描述。
官方 README 中给出的示例很能说明任务形态。一个指令会先描述餐厅里围桌交谈的人群,再要求智能体穿过门口、沿走廊前进,最后停在办公室入口而不阻碍正在拍照的人。若只看“左转、直行、停止”等导航词,模型会漏掉真正决定通过方式和停止位置的社会线索。
路径与人群的关系如何被量化
论文不只比较平均句长,还分析人群对路径的实际影响。35.5% 的路径与人体运动轨迹直接相交,49.7% 的视角位置受到可见人员的间接影响。活跃人员的移动距离分布为:不超过 0.5 米占 22.4%,0.5 至 1 米占 37.3%,1 至 1.5 米占 25.0%,1.5 至 2 米占 11.6%,超过 2 米占 3.7%。
这组统计说明,行人并不是只在起点或终点出现。接近一半的关键视角会受到人员影响,而超过三成路线与人体运动直接相交。于是“看见一个人后绕开”不足以解决任务,智能体还要预测对方接下来会占据哪段空间,并在语言中的活动线索与实时运动之间做取舍。
两类参考智能体
HA-VLN-VL 采用 BERT 风格的视觉语言对齐结构,重点检验单纯加强多模态 grounding 能带来多少收益。其递推过程可写成:
$$s_t,p_t^a=\operatorname{HA\!-\!VLN\!-\!VL}(s_{t-1},X,V_t),$$其中,$X$ 是语言 token,$V_t$ 是当前 RGB-D 融合特征,$s_t$ 是更新后的状态 token。模型把上一步动作并入状态:
$$s_t=[s_t';a_t]W_s,$$再计算状态与各可导航视觉 token 的注意力:
$$A_{s,v}^{t}=\operatorname{Softmax}\left(\frac{Q_sK_v^{\top}}{\sqrt{d_h}}\right).$$注意力结果经过池化形成动作分布,最终选择概率最大的动作。这里的 $Q_s$ 来自状态,$K_v$ 来自视觉 token,$d_h$ 是缩放维度。它把“我当前理解到哪里”转换为“哪个可执行方向最符合指令”。
HA-VLN-CMA 则是双流 RGB-D 加语言交叉注意力模型。RGB 和深度分别经过 ResNet,再与方向编码融合:
$$v_i=[v_i^{\mathrm{rgb}}W_{\mathrm{rgb}};v_i^{\mathrm{depth}}W_{\mathrm{depth}};d_i]W_{\mathrm{merge}}.$$语言编码与视觉特征通过多头注意力交互:
$$\hat f_t=\operatorname{MultiHeadAttn}(v_t,l),$$ $$f_t=\operatorname{GRU}([(v_t,l),a_{t-1}],f_{t-1}),$$ $$a_t=\operatorname{softmax}(\operatorname{MLP}(f_t)).$$这些公式对应了两个不同假设。HA-VLN-VL 更强调长指令与视觉 token 的显式对齐;HA-VLN-CMA 更强调双模态特征、历史动作和循环状态对实时避障的影响。论文把它们定位为“互补参考实现”,而不是宣称其中任何一个已经是最终解决方案。
源码中的交叉注意力并非概念性伪代码。agent/VLN-CE/vlnce_baselines/models/cma_policy.py 明确执行了文本到视觉、视觉到文本的两轮注意力:
text_state_q = self.state_q(state)
text_embedding = self._attn(text_state_q, text_state_k, instruction_embedding)
rgb_embedding = self._attn(self.text_q(text_embedding), rgb_k, rgb_v)
depth_embedding = self._attn(self.text_q(text_embedding), depth_k, depth_v)
离散路径规划器则把连续目标转为离散动作。代码默认每次前进 0.25 米、每次转向 15 度,并在接近目标半径后规划停止方向。该实现表明两种范式共享语义,却保留不同的执行粒度;比较结果时必须同时报告动作方式和碰撞检查频率。
RAD_15DEG = np.deg2rad(15.0)
forward_distance: float = 0.25
turn_angle: float = RAD_15DEG
goal_radius: float = 0.13
step_limit: int = 200
仿真器如何形成闭环
flowchart LR
A[HA-R2R instruction] --> B[RGB-D observation]
B --> C[Visual-language grounding]
C --> D[Action selection]
D --> E[Dynamic human update]
E --> F[Collision check]
F -->|no collision| B
F -->|collision| G[Replan or terminate]
F --> H[TCR and CR]
D --> I[Goal check]
I --> J[NE and SR]
该闭环有两个容易混淆的时间尺度。人体模型按 120 帧循环更新,智能体按自己的动作周期读取当前人群状态;碰撞则按动作执行后的空间关系计算。连续环境可以在一个动作内部检查更细的子步,离散环境则可能在视角跳转后才检查落点。论文在步长实验中专门验证了这一差异:如果只看一个 1 米动作的终点,碰撞会被低估;若把动作拆成四个 0.25 米子步并逐步检查,智能体成功率会降到接近零。
评价指标
总碰撞率 TCR 先扣除真实路径上必然经过的关键人体活动数量,再统计多出的碰撞:
$$\operatorname{TCR}=\frac{\sum_{i=1}^{L}(c_i-|A_i^c|)}{L}.$$$c_i$ 是第 $i$ 个片段中距离人体 1 米以内的碰撞时间步集合,$A_i^c$ 是标注路径上预期会接近的人体活动集合,$L$ 是导航片段数。先扣除 $|A_i^c|$ 的意义是避免智能体仅因为必须穿过人群就被强行判错,重点衡量它是否制造了超出任务必要的碰撞。
碰撞率 CR 则在至少发生一次多余碰撞的片段上取指示值,并按受人类影响的指令比例 $\beta$ 归一化:
$$\operatorname{CR}=\frac{\sum_{i=1}^{L}\min(c_i-|A_i^c|,1)}{\beta L}.$$导航误差与成功率分别为:
$$\operatorname{NE}=\frac{\sum_{i=1}^{L}d_i}{L},$$ $$\operatorname{SR}=\frac{\sum_{i=1}^{L}\mathbb I(c_i-|A_i^c|=0)}{L}.$$$d_i$ 是终点到目标位置的距离,$\mathbb I$ 在无多余碰撞时为 1。需要注意,论文定义的 SR 同时包含避碰条件与到达条件,因此高到达率不能掩盖高碰撞率。Airbert 在离散未见环境中的 SR 为 0.36,但 CR 高达 0.83,就是典型例子。
连续环境实验
在 HA-VLN-CE 未见验证集上,完整版 HA-VLN-CMA* 得到 NE 6.23、TCR 8.10、CR 0.69、SR 0.10;HA-VLN-VL 得到 NE 5.35、TCR 6.63、CR 0.59、SR 0.14。BEVBert 在重训后获得 NE 5.51、TCR 4.71、CR 0.55、SR 0.21,是表中综合表现较强的参考结果。ETPNav 的成功率为 0.17,但 TCR 与 CR 分别达到 6.94 和 0.58。
| 智能体 | NE 米,越低越好 | TCR,越低越好 | CR,越低越好 | SR,越高越好 |
|---|---|---|---|---|
| HA-VLN-CMA-Base | 7.34 | 47.06 | 0.77 | 0.07 |
| HA-VLN-CMA-DA | 7.00 | 27.25 | 0.69 | 0.09 |
| HA-VLN-CMA* | 6.23 | 8.10 | 0.69 | 0.10 |
| HA-VLN-VL | 5.35 | 6.63 | 0.59 | 0.14 |
| BEVBert | 5.51 | 4.71 | 0.55 | 0.21 |
| ETPNav | 5.43 | 6.94 | 0.58 | 0.17 |
表中的比较不能简单读作“BEVBert 全面优于自建智能体”。HA-VLN-CMA* 的主贡献是验证双流交叉注意力和数据增强机制可以在新基准上运行,而 BEVBert、ETPNav 是成熟强基线。VLM 方法 NaVid 和 Navila 还采用零样本设置,与从头在 HA-R2R 上重训的模型并非相同训练预算。论文把重训与零样本结果分栏报告,正是为了避免把不同训练条件混成一个排名。
更值得关注的是迁移结果。BEVBert 在 VLN-CE 上训练后转到 HA-VLN-CE,SR 从在域环境的 0.37 降到 0.21;换到 HA-R2R 验证集时,NE 为 5.51。反过来,用 HA-R2R 训练后在标准 R2R-CE 上的 SR 为 0.27,接近 R2R-CE 训练的 0.29,同时在新基准上的相对 SR 提升约为 28.6%。这说明社会场景训练并非只记住一套数据库,也能保留相当一部分跨域能力。
离散环境与消融
离散环境暴露了“到达成功但一路碰撞”的问题。Speaker-Follower 的 SR 从标准 VLN 的 0.35 降到 HA-VLN-DE 的 0.21,CR 为 0.72;Airbert 的 SR 为 0.36,但 CR 达到 0.83。Rec 的两个版本成功率在 0.33 至 0.34,CR 仍高于 0.78。相较之下,连续环境的总碰撞率更低,部分原因是细粒度动作提供了更多避让机会。
| 离散智能体 | 标准 VLN NE | 标准 VLN SR | HA-VLN-DE NE | TCR | CR | SR |
|---|---|---|---|---|---|---|
| Speaker-Follower | 6.62 | 0.35 | 7.44 | 0.32 | 0.72 | 0.21 |
| Rec,PREVALENT | 3.93 | 0.63 | 6.12 | 0.29 | 0.81 | 0.33 |
| Rec,OSCAR | 4.29 | 0.59 | 6.12 | 0.28 | 0.78 | 0.34 |
| Airbert | 4.01 | 0.62 | 5.54 | 0.30 | 0.83 | 0.36 |
| NavCoT | 6.26 | 0.40 | 6.83 | 0.36 | 0.85 | 0.23 |
人类存在与交互丰富化的消融给出了最直接的证据。以连续 BEVBert 为例,完整设置下 NE 为 6.10、TCR 为 5.72、CR 为 0.56、SR 为 0.15;保留人类但去掉交互丰富化后,TCR 降至 5.11,SR 升至 0.17;把真人换成圆柱体并同时去掉丰富化后,TCR 为 3.25,SR 为 0.19。换成 ETPNav 时,对应 SR 从 0.08 升到 0.10,再升到 0.14。
步长实验进一步说明执行分辨率会改变结论。BEVBert 在未见验证集上的默认 0.25 米步长得到 SR 0.21;1 米步长得到 SR 0.26,但把 1 米动作拆成四个 0.25 米子步后,成功率接近零。原因是终点检查允许机器人跨越正在移动的人,而子步检查会把这种“穿人式捷径”立即识别为碰撞。因此,提高离散近似带来的表面收益不能直接作为真实连续控制能力。
RGB 与深度消融显示两种模态都有作用。BEVBert 同时使用 RGB 和深度时 SR 为 0.21;去掉深度后降到 0.15,去掉 RGB 后为 0.20。ETPNav 的完整 SR 为 0.17,去掉深度后降到 0.13,去掉 RGB 后降到 0.16。深度对判断人体距离和家具遮挡尤其关键,但 RGB 提供的活动类别与语义仍会改善路线选择。
真实机器人验证
真机使用 Unitree Go2-EDU 四足机器人,搭载 Intel RealSense D435i RGB-D 相机、MID360 三维激光雷达、IMU、Jetson NX 和 Raspberry Pi 4B。Jetson 负责接收相机图像并推理动作,树莓派执行左转、前进等高层控制指令,IMU 用于校准朝向。机器人每步旋转获得全景视野,并采用 0.25 米前进和 15 度转向的执行粒度。
实验覆盖办公室、客厅、走廊和大厅四类空间,每类含三个实例;每个实例在无人和有人两种条件下各跑 30 个回合,有人条件安排 2 至 4 名自由移动的志愿者。这个设置并不追求复现整座商场的密度,而是检验仿真训练策略在真实遮挡、传感器噪声和不可预测人体运动下是否仍有作用。
| 智能体与训练数据 | 无人员成功率 | 有人员成功率 |
|---|---|---|
| HA-VLN-CMA-Base,VLN-CE 训练 | 0.26 | 0.09 |
| HA-VLN-VL,VLN-CE 训练 | 0.40 | 0.12 |
| HA-VLN-CMA-Base,HA-VLN 训练 | 0.25 | 0.15 |
| HA-VLN-VL,HA-VLN 训练 | 0.44 | 0.18 |
真机结果显示,人员存在会让所有策略明显变难,但用 HA-VLN 训练的 HA-VLN-VL 在有人条件下达到 0.18,高于 VLN-CE 训练版本的 0.12。HA-VLN-CMA-Base 同样从 0.09 提升到 0.15。这一趋势与仿真中的社会场景收益一致,也说明采集 HAPS 2.0 与重写 HA-R2R 并非只服务于虚拟排行榜。
不过真机成功率整体仍低。即便无人员时,HA-VLN-CMA-Base 也只有 0.25 至 0.26,HA-VLN-VL 为 0.40 至 0.44。论文没有回避这一点:机器人会在狭窄走廊、门口和人群突然汇聚时发生碰撞;客厅里有人突然起身或改变方向时,同样可能打断原本可行的路线。
代码与论文的对应关系
官方仓库不是一个只放示例图片的论文主页,而是包含仿真器、数据工具、HA-VLN-VL、HA-VLN-CMA 和评测脚本的完整工程。论文中的 HAPS 2.0 人体刷新对应 HASimulator/environments.py;距离与碰撞细节对应 HASimulator/measures.py;TCR、CR、SR 的基准扣减与成功判定对应 HASimulator/metric.py;指令编码和两层交叉注意力则对应 agent/VLN-CE/vlnce_baselines/models。
论文公式 17 至 20 与 metric.py 的实现关系尤其直接。代码读取每个回合的标注碰撞数,对实际碰撞计数做差,再把 TCR 截断到至少为零;CR 取 TCR 是否大于零的指示值,SR 同时要求到达和 TCR 为零。这比只看“是否到达目标”更贴近论文声称的人本安全目标。
代码也暴露了需要谨慎解读的地方。路径规划器文件说明其几何规划假设无障碍空间,候选动作只追求缩短到目标的距离;真实避障由仿真器碰撞体和上层策略共同处理。因此,不能把规划器的候选生成误解为已经完成社会避障。论文真正依赖的是动态人体更新、RGB-D 观测、碰撞检查和学习策略的联合闭环。
局限与独立判断
第一项限制来自作者自己的真机观察。狭窄通道、交汇处以及人群突然聚集仍会引起碰撞,部分志愿者突然起身或变向时,智能体来不及重新规划。这说明当前策略在高度动态遮挡和密集局部交互上仍脆弱,尤其是当语言线索描述的是稍早的状态、而现场人员已经移动时。
第二项限制是真实机器人实验规模。四类室内空间、每类三个实例、每实例 30 回合和 2 至 4 名志愿者,足以提供方向性证据,但无法覆盖公共空间中的人数密度、儿童与轮椅使用者、群体对流、拥挤出口等复杂情形。有人条件的成功率最高仅 0.18,也说明距离可部署仍有明显差距。
从独立分析角度看,HAPS 2.0 的多人群规模与循环帧数也需要明确边界。最终场景最多约 10 人,运动片段为 120 帧循环,虽然能模拟局部动态,却不足以重现长时间公共空间里不断有新成员进入、旧成员离开的开放人群。论文提升的是局部多人交互的可控性和可复现性,而不是完整城市级人群仿真。
碰撞判定使用一米邻近阈值和几何重叠作为操作化代理,便于形成可重复排行榜,但个人空间并不等于全部社会规范。真实人类会通过眼神、身体朝向、犹豫和让行动作表达意图;这些信号既未稳定建模,也未纳入统一指标。因此,低碰撞率只能证明智能体没有侵入约定空间,不能单独证明其行为被人类认为自然、礼貌或可预测。
此外,HAPS 2.0 与 HA-R2R 的扩写依赖语言模型再经人工修订。论文报告了准确度、兼容性和人工工作量,但对标注者间一致性、不同文化背景下个人空间阈值是否变化、以及指令难度是否被无意中模板化,讨论仍有限。这些问题不否定基准的价值,却会影响把绝对分数直接解释成现实世界能力。
最后,跨训练预算比较必须谨慎。HA-VLN-CMA、HA-VLN-VL、BEVBert、ETPNav 和视觉语言模型并非同一训练流程;有些模型从零在新数据上重训,有些方法保留大规模预训练后只做零样本迁移。论文分栏报告是正确做法,读者仍应把每个数字与对应实验条件绑定,而不是仅按 SR 排一个跨预算总榜。
讨论:它对后续研究意味着什么
HA-VLN 2.0 最有价值的贡献是把“人”从静态障碍提升为任务结构的一部分。语言描述人的活动,场景让人的轨迹影响导航,指标把多余碰撞从必要经过中分离出来,真机实验再检验这些设定是否能迁移。这个链条比单独发布一个新数据集更难复制,也更接近可以持续比较的基准。
对后续工作而言,有三个直接方向。其一,可以把轨迹预测、社会力模型或学习式行人先验加入策略,检验它们是否能降低 TCR 而不牺牲 SR。其二,应把遮挡与突然出现显式建模为部分可观测状态,研究智能体何时减速、等待或绕行。其三,需要在更多文化背景、更多人群构成和更长时程中验证个人空间与让行规范,避免基准把某一种社会习惯误当作普遍规则。
对机器人系统开发者而言,论文提供了一条实用测试路径:先在离散环境快速筛选语言理解和粗粒度路线,再到连续环境检查细粒度碰撞,最后在有限真实场景验证传感器与执行器误差。每一步都应同时看 NE、TCR、CR 和 SR,并把步长与碰撞检查频率写清楚。只有这样,排行榜上的提升才可能对应真实系统中更安全的行为。
结论
HA-VLN 2.0 建立了离散与连续人本导航的共同语言。HAPS 2.0 用更准确、更多样的多人动作补足了场景动态性,HA-R2R 用 16,844 条长指令把人的活动和避让要求写入语言,统一指标将到达与安全分开衡量,真实机器人实验则提供了迁移证据。
它的结果同时说明问题远未解决。先进智能体在动态人群中的成功率仍然不高,离散动作可能掩盖碰撞,视觉语言模型与重训策略不能直接混排,真实实验的人也远少于开放公共空间。也正因如此,这个基准的意义不只是给出一张当前排名表,而是把“能否安全地在人身旁完成语言导航”变成可复现、可审计、可继续推进的研究问题。
金句:人本导航的终点不只是到达坐标,而是在每一步都保留对他人空间的尊重。



