Holi-World：从第一视角经验构建世界智能

论文元信息

论文：Holi-World: Building Holistic World Intelligence from Human-Ego Experience

作者：Hao Li、Xiyuan Zheng、Yuanyuan Gao、Yalun Dai、Xinhao Ji、Xuan-Li Chen、Jing Zhao、Fangzhou Hong、Zhaoxi Chen、Ziwei Liu。

机构：Ropedia、南洋理工大学、香港科技大学、北京大学。

链接：arXiv:2610.26549；项目页。

资源状态：项目演示仓库公开，但 README 明确写明核心代码不会开源；模型与数据集标注为即将发布。本文的精读依据为完整 PDF、LaTeX 源码、项目页和公开仓库，不把尚不可下载的资产描述成已开放。

一句话总结

Holi-World 把人在真实环境中的第一视角行走与交互记录，自动转换为带持久三维结构、物体身份、运动轨迹和证据链的“世界记录”，再据此训练能够回答空间与时间问题的视觉语言模型。

预备知识与问题边界

论文中的世界状态不是完整物理仿真。它把某一时刻的输入观测、二维检测与掩码、三维高斯场景、点云、静态三维框、动态三维框和语义证据组织在一起。静态物体在多个时刻之间保持同一实例，动态物体则保留随时间变化的框与轨迹。

第一视角视频中的表观运动来自两类因素：相机移动和物体自身运动。若直接把二维位移当成物体运动，就会把转头误判为家具移动。HoliWorld 先用相机位姿与深度把像素提升到世界坐标，再在世界坐标中拟合与连接三维框，这是动态理解的基础。

Foundry 当前明确假设每个时刻最多只有一个正在运动的物体。这个假设简化了交互片段的身份关联与掩码传播，也让论文可以集中验证“跨出视野后的同一物体追踪”。它不是多人多物同时操作的通用解，后文会把它列为方法边界。

论文使用了三维高斯表示、深度补全、开放词汇检测、点云检测、分割一切模型、三维有向框和视觉语言模型。理解这些模块时，关键不是背模型名称，而是看每个模块在证据链中承担什么角色：谁提供几何，谁提供类别，谁维持身份，谁做最后核验。

方法详解：从镜头到可追溯世界记录

1. 双分支之前的共享几何准备

系统用双目 RGB 与惯性测量单元做视觉惯性 SLAM，恢复相机轨迹和稀疏点；随后以关键帧和位姿为条件，用 Depth Anything 3 估计稠密深度与点。基于这些观测优化三维高斯场景，渲染观测位姿下的细化深度，并对动态区域补全逐帧深度。最终保留高斯场景、场景点云和逐帧观测。

论文把输入观测集合写成式（1）。其中图像、深度、内参和外参一一对齐，后续的静态提升与动态反投影都沿用这套时间索引。

$$\mathcal{O}=\{(I_t,D_t,\mathbf{K}_t,\mathbf{T}_t)\}_{t=1}^{T}$$

这里 $I_t$ 是第 $t$ 帧图像，$D_t$ 是深度图，$\mathbf{K}_t$ 是相机内参矩阵，$\mathbf{T}_t$ 把相机坐标变换到世界坐标。视觉语言模型从关键帧提取类别、属性、运动线索和交互描述：类别线索驱动静态候选，运动与交互线索决定哪些对象进入动态跟踪。

这一步相当于先建立“公共账本”。若静态分支和动态分支各自估计坐标，后续即使都能得到框，也无法保证它们说的是同一个房间中的同一位置。共享位姿、深度和点云使两条分支可以在统一世界坐标中会合。

2. 静态感知：图像与点云互补，再由视觉语言模型复核

静态分支的第一条路径在左右 RGB 流上分别运行 Boxer，获得开放词汇二维检测。系统用对应深度与相机位姿把二维框内部的观测提升为度量三维候选，并跨帧关联。这条路径依赖图像细节，容易覆盖小物体，但单视角可能只看到物体的一面。

第二条路径在重构点云上运行 TR3D，直接从场景几何提出三维检测。它能看到跨多个视角累积的大范围结构，更适合床、柜体和大桌面，却可能遗漏点支持薄弱的小物体。论文不是强行选一条路，而是保留两条互补候选。

按照论文对图像提升步骤的文字定义，可以把某一个二维检测的度量三维候选写成一个操作化表达。该式不是论文另行编号的独立公式，而是把“用深度和内参提升、再用外参落到世界坐标”的过程显式化：

$$\mathbf{B}^{I}_{j,t}=F_{\mathrm{box}}\left(\mathbf{K}_t,\mathbf{T}_t,D_t,r^{I}_{j,t}\right)$$

其中 $r^{I}_{j,t}$ 是第 $j$ 个图像检测区域，$F_{\mathrm{box}}$ 表示提升与三维框拟合。来自图像与点云的多份候选可能指向同一物体，系统先做低成本几何检查，合并空间相容的框；点支持不足的候选会在视觉语言模型核验前被丢弃。

每个保留框还会携带一个预选后备候选：优先取同一候选簇中排名第二的框；若不存在，则取由交并比抑制关联到的直接候选。视觉语言模型检查当前框、源观测和高斯场景渲染的补充视角，可执行保留、调整几何、改类别或拒绝。只有当前框被拒绝时才检查一次后备框，并且后备框必须使用自己的证据。被接受的框组成静态三维框集合 $\mathcal{B}^{\mathrm{sta}}$。

这种“检测器提候选、几何筛明显错误、视觉语言模型做语义终审”的分工很克制。视觉语言模型不负责从零回归每个框，而是面对已经带有局部图像和多视角证据的候选做判断。一次后备重试也限制了错误级联，避免模型在连续猜测中把不存在的物体保留下来。

3. 动态感知：跨交互片段维持身份

被操纵的物体可能被拿出口袋、放到桌下或离开视野，再在后续片段中出现。仅靠逐帧检测，同一物体会被分配多个身份。HoliWorld 用手部区域和视觉语言模型生成的交互描述定位每个片段中的目标，再比较跨片段描述与关键帧证据，建立时间上的标签连续性。

身份确定后，系统用分割一切模型选择目标掩码，并在每个交互片段内传播。论文记逐帧前景掩码为 $\{m_t\}$。若第 $t$ 帧有有效深度，就把掩码内像素反投影到世界坐标。式（2）是论文明确给出的动态三维恢复公式。

$$\mathcal{X}_t=\left\{\mathbf{T}_t\left(D_t(\mathbf{u})\mathbf{K}_t^{-1}\bar{\mathbf{u}}\right)\mid\mathbf{u}\in m_t,\;D_t(\mathbf{u})\ \text{is valid}\right\}$$

$\bar{\mathbf{u}}$ 是齐次图像坐标，$\mathbf{T}_t(\cdot)$ 是相机到世界的刚体变换，$\mathcal{X}_t$ 是物体掩码支持的场景点。代码意义上的点集筛选可以进一步写成下面的集合表达，它对应论文所说的“过滤不支持深度的样本”：

$$\mathcal{X}^{\star}_t=\{\mathbf{x}\in\mathcal{X}_t\mid \mathbf{x}\ \text{passes depth and support filters}\}$$

随后对点集拟合三维有向框。论文没有给出唯一拟合器的闭式公式，但输出形态可以直接表示为中心、尺寸和朝向。下面的表达只是对论文所述三维有向框的记法整理：

$$\mathcal{B}^{\mathrm{dyn}}_{t,k}=(\mathbf{c}_{t,k},\mathbf{s}_{t,k},\mathbf{R}_{t,k})$$

$\mathbf{c}_{t,k}$ 是中心，$\mathbf{s}_{t,k}$ 是三轴尺寸，$\mathbf{R}_{t,k}$ 是朝向。相同身份在不同帧的框被连接成动态四维轨迹。这个分支的关键不是单帧掩码多精细，而是身份连续性让掩码、世界点和轨迹始终指向同一个物体。

动态结果通过图 5 中的实线预测轨迹和虚线参考轨迹比较。轨迹在物体出视野期间仍要接受评测，缺失预测不会被跳过，因此结果不仅衡量可见帧的分割，也衡量空间记忆和身份保持。

4. 统一世界状态如何保存证据

静态框和动态轨迹进入同一个时刻状态。论文给出的式（3）把当前观测、二维证据、三维场景表示、静态框、动态框和语义记录组合在一起。

$$\mathcal{S}(t)=\left(\mathcal{O}_t,\mathcal{U}(t),\mathcal{G},\mathcal{P},\mathcal{B}^{\mathrm{sta}},\mathcal{B}^{\mathrm{dyn}}(t),\mathcal{Z}(t)\right)$$

其中 $\mathcal{O}_t$ 是当前输入，$\mathcal{U}(t)$ 包含二维检测框与跟踪掩码，$\mathcal{G}$ 与 $\mathcal{P}$ 分别是高斯场景和点云，$\mathcal{B}^{\mathrm{sta}}$ 是持久静态框，$\mathcal{B}^{\mathrm{dyn}}(t)$ 是随时间变化的动态框，$\mathcal{Z}(t)$ 记录标签、身份、置信度、交互语义和证据链接。

静态实例跨观测保持，动态实例保留时间索引。这个区别看似简单，却决定了下游问答能否区分“床一直在房间里”和“杯子从桌面移动到手中”。每个对象记录都可回到特定对象、时刻和支持观测，数据不再是匿名图像与答案的配对。

5. 从世界记录生成约八万条证据驱动问答

HoliWorld-Data 的原始规模约为一百个场景、444 段第一视角视频、一百个三维高斯重建、132.2 万帧带深度与相机位姿的 RGB 图像、九万个二维框、2466 个静态三维框和 2095 条动态轨迹，并由此形成约 4000 条三维定位标注与八万条字幕。它把记录组织为原始观测、重建几何、物体与交互语义、空间智能监督四层。空间问答使用物体几何和相机位姿，推导方向、距离、包含、支撑与视角相关关系；时间问答比较同一身份在不同时刻的状态，描述运动、事件顺序和持续时间；交互问答利用手部目标、动作描述和状态变化。

论文设计了三十种细粒度问答类型。静态部分有十一类，覆盖单视角与多视角下的距离、深度、高度和相对位置；动态部分有七类轨迹问题，覆盖运动状态、时间、方向、顺序和路径特征；另有十二类字幕问题，覆盖动作识别、物体交互、时间定位、交互阶段、事件排序、状态转换和对比式困难负样本。

数据集中共有 13,647 条静态问答和 64,409 条动态问答，总计约八万条。两类问答分别检验空间关系与跨时间状态变化，不能把庞大的总数量理解为同一种题型重复堆叠。

答案并不只是一种格式，包含类别标签、数值、多选项、时间区间和自由描述。一个证据链接可以概括为问题、支持帧与物体记录的联合，具体内容由问题类型决定。下面的元组是依据论文“每个答案链接到支持观测与标注”的说明整理出的统一记法，不是论文原式：

$$e(q,a)\leftarrow(o_{t_1},o_{t_2},b_{t_1},b_{t_2},c_{t_1:t_2})$$

这里 $o_t$ 表示观测，$b_t$ 表示物体框或轨迹状态，$c$ 表示相应时间段的字幕或交互证据。统一证据结构让同一批世界记录可以生成 grounding、captioning、静态问答和动态问答，而不是为每种任务另做一套手工标注。

flowchart LR
    A[Ego RGB and IMU] --> B[VI-SLAM and DA3]
    B --> C[3DGS and Scene Point Cloud]
    B --> D[VLM Semantic Cues]
    C --> E[Static Candidates]
    D --> E
    E --> F[Geometric Merge and Filter]
    F --> G[VLM Validation]
    G --> H[Static 3D Boxes]
    D --> I[Interaction Segments]
    I --> J[Identity Association]
    J --> K[SAM Mask Tracking]
    K --> L[World Point Backprojection]
    L --> M[Oriented Boxes and 4D Tracks]
    H --> N[Unified World State]
    M --> N
    N --> O[Grounded QA and Captions]
    O --> P[HoliWorld-VL]
    N --> Q[Human-Annotated Bench]
    P --> Q

图中静态分支与动态分支不是两次互不相干的数据生成。二者在共享坐标、共享物体身份和共享证据结构下汇合，再由世界状态生成问答。Mermaid 中的每一步都对应论文方法章节中的真实组件。

实验设置与静态三维感知

静态评测使用 ScanNet 与 ScanNet++ 各二十个序列，以及二十个自采内部序列。前三列以外的方法使用官方三维真值，内部序列由人工标注。评价采用三维交并比 0.25 与 0.50 下的平均精度，以及在 0.25 匹配对上的平均交并比。

表 1 显示，HoliWorld 在三个数据集的 AP 指标上都领先。ScanNet 的 AP25 为 0.68，第二名 Map-Det3D 为 0.40；AP50 为 0.55，而第二名只有 0.12。严格阈值的差距尤其大，说明提升不只是多报出一些容易匹配的框，框的空间范围也更接近参考。

ScanNet++ 与内部 Bench 的绝对分数明显低于 ScanNet，这比单一领先幅度更能说明任务难度。ScanNet++ 的 AP50 为 0.13，Bench 为 0.12，仍高于最强基线，但即使最完整的管线也还远未解决复杂真实场景中的严格三维定位。高 AP、相对较低 mIoU 的组合也提示：找到物体与精确贴合物体边界是两项不同能力。

作者在附录解释，内部数据上相对 Boxer 的 AP 增益大于匹配框的 mIoU 增益，说明系统主要改善了检测覆盖，而成功匹配框的范围精度只得到有限提升。由于 mIoU 只在已匹配框上计算，阅读结果时应与 AP 联合判断，不能把 0.53 的 mIoU 当成所有物体的整体几何精度。

动态三维跟踪

动态评测使用 Aria Digital Twin 的二十个序列和 HoliWorld-Bench 的二十个序列，沿完整 RGB 时间线评估，包括物体离开视野的时段。HOTA、检测精度与关联精度使用世界坐标中心距离 0.1 米的容差；PCL 衡量在全局一对一分配下被正确定位的参考实例帧，缺失预测、未分配轨迹和定位失败都计为错误。

部分基线被给予参考首见掩码或参考类别查询，而 HoliWorld 不使用任何由测试标注派生的输入。这个设置让比较更接近自动数据工厂的真实条件，尤其能暴露目标身份能否在长期交互中自行延续。

ADT20 上，HoliWorld 的 HOTA 为 54.31%，比获得参考初始化的 IT3DEgo 高 18.31 个百分点；AssA 为 71.94%，高出 18.34 个百分点。关联精度的增幅说明跨片段身份关联不是表面改进，因为 HOTA 同时受到检测和关联制约。

内部 Bench 上，HoliWorld 的 HOTA 为 43.14%，最强竞争方法 SAM+LMK 为 15.13%；PCL 从 23.68% 提高到 57.89%。这一组数字差异很大，部分原因在于内部场景包含更长的交互中断与出视野过程。只靠逐帧目标检测会在这些时段丢失身份，而标签连续性与掩码传播能把轨迹保持到后续片段。

细节也显示尚未解决的误差。HoliWorld 在 Bench 的 TP-L2 为 0.0280 米，并不是表中最小的中心误差；它的优势主要来自覆盖和关联。这意味着系统更容易把正确轨迹持续报出来，但在成功匹配后，轨迹位置仍可能不如某些基线精确。后续改进应分别处理“找回同一物体”和“精修三维中心”两个问题。

下游空间与时间推理

作者以 Qwen3.5-4B 为底座，使用 HoliWorld-Data 微调，得到 HoliWorld-VL-4B。评测同时报告令牌级 F1、是/否准确率、多选准确率和数值准确率，并覆盖内部 Bench 与 EgoDynamic4D。后者的内容是动态问答，但使用的外部场景与本文自动构造管线不同，因此更适合观察监督能否迁移。

内部 Bench 的令牌 F1 从 16.35% 提升到 78.02%，EgoDynamic4D 从 18.29% 提升到 66.39%。40 亿参数微调模型在内部 Bench 与 EgoDynamic4D 的全部八项指标上超过零样本的 270 亿参数模型，这一结果支持“任务对齐的带证据监督”比单纯扩大通用模型规模更有效。

四个指标的变化并不平均。内部 Bench 的是/否准确率为 93.52%，多选为 94.00%，数值为 81.84%；EgoDynamic4D 的是/否达到 99.67%，多选达到 94.92%，数值却只有 16.33%。开放数值题仍然困难，尤其是需要把轨迹时间、距离和相机变化转换成精确数字时，分类式问答的高分不能掩盖这一短板。

这组结果也提示基准设计的影响。是/否题可以通过较强的语言先验获得高分，数值题更依赖三维状态与时间定位是否准确。训练数据同时包含静态几何、动态轨迹和字幕交互，模型才能在多个题型上提升；若只增加描述文本，很难解释数值准确率为何从 0.02% 上升到 16.33%。

消融实验：互补证据比单一模块更重要

静态消融显示图像提升与点云检测覆盖不同尺度。去掉 Boxer 路径后，ScanNet AP25 从 0.68 降到 0.58，内部 Bench 从 0.24 降到 0.10；去掉 TR3D 路径后，ScanNet AP25 降至 0.32，内部 Bench 降至 0.20。两条路都不能被另一条完全替代。

去掉字幕引导后，ScanNet AP25 为 0.67，内部 Bench 为 0.21；完整配置分别为 0.68 和 0.24。视觉语言模型验证对几何指标改变不大，完整 ScanNet mIoU 为 0.72，无验证时也是 0.72，内部 Bench mIoU 从 0.52 提高到 0.53。作者因此把验证器的主要价值放在类别纠正和拒绝不合适候选，而不是大幅提升框回归。

动态消融更能区分身份连续与掩码关联。仅保留 SAM 关联、去掉标签连续性时，ADT20 HOTA 为 44.09%，内部 Bench 为 32.86%；仅保留标签连续性、去掉 SAM 关联时，分别为 38.38% 和 38.89%。完整配置达到 54.31% 和 43.14%，显著高于任一单模块。

内部 Bench 上两种动态单模块配置呈现交叉：无标签连续时 HOTA 更低但 PCL 为 45.30%，无 SAM 关联时 HOTA 更高但 PCL 为 51.04%。完整配置同时得到 43.14% HOTA 与 57.89% PCL，说明评测并非只看一项指标。标签连续解决“还是不是同一物体”，掩码关联解决“物体在二维上如何连续展开”，两者共同决定三维轨迹。

局限分析

第一项明确边界来自论文自身的动态假设：每个时刻最多只有一个正在运动的物体。真实家庭和仓库常有双手同时操作、多人交接或背景物体移动，当前的身份关联与问答构造没有覆盖这些并发关系。若直接扩展，必须重新定义目标分配、掩码重叠和轨迹交叉时的证据结构。

第二项是自动标注的误差传播。静态框先经检测与几何过滤，再交给视觉语言模型复核；动态轨迹依赖交互片段、身份连续、分割掩码、深度有效性和三维拟合。任一环出错都可能进入训练数据，而视觉语言模型又可能学习到生成器的系统性偏差。内部 Bench 虽由人工标注，但只有二十个序列，无法覆盖全部环境与物体。

第三项是复现门槛。论文把模型与数据标为即将发布，项目仓库明确表示核心代码不会开源。即使方法章节和附录给出了评测协议、基线适配和匹配规则，外部研究者仍无法直接运行完整 Foundry 或复现相同的数据生成结果。这是工程复现限制，不是论文没有描述方法，但它会降低社区验证速度。

第四项来自模型比较范围。下游实验主要围绕 Qwen3.5-4B 微调，并与 Qwen3.8-27B 零样本结果比较，尚不能说明相同监督对其他视觉语言架构、不同输入长度或多传感器组合也有一致收益。数值准确率在 EgoDynamic4D 上只有 16.33%，说明连续量回归和时间区间判断仍有很大空间。

第五项是数据责任。作者在附录强调采集与发布需要知情同意、身份内容审核与脱敏，并反对未经额外保障的监视或高风险决策使用。第一视角视频天然包含人脸、住宅布局、个人物品和手部动作，自动世界记录会进一步放大这些信息的可检索性，因此发布流程不能只关注模型精度。

总结与展望

HoliWorld 的主要贡献是把第一视角数据转化为统一世界状态的完整链路。Foundry 在同一坐标系中同时处理持久静态物体与时间变化的动态物体，Data 把框、轨迹、字幕和交互转成带证据的问答，VL 用这些监督学习空间与时间推理，Bench 则用独立人工标注同时检查自动标注与模型能力。

实验结果支持这种组合：静态分支在 ScanNet、ScanNet++ 和内部数据上取得最高 AP；动态分支在 ADT20 与内部数据上取得最高 HOTA；40 亿参数微调模型在内部 Bench 与 EgoDynamic4D 上均超过零样本 270 亿参数模型。真正值得迁移的设计是“身份连续、世界坐标和证据链接”三者同时存在，而不是某个单独模型名称。

下一步最自然的方向是把单运动对象假设扩展到多物体并发，把动态轨迹从刚体框扩展到关节物体和可变形物体，并让问答同时检索更长时段与多传感器证据。若模型和数据按计划开放，外部复现还应重点检验自动标注偏差能否被主动采样、人工复核和不确定性估计约束。

金句

世界智能不是把更多视频喂给模型，而是让每一个物体在跨过视野、时间和交互之后，仍然保有同一个身份、同一个坐标和同一条证据链。