PAPER DEEP DIVE

Semantic SLAM高斯泼溅3D Segmentation

GS³LAM：高斯语义泼溅 SLAM

GS³LAM 将颜色、深度、不透明度、协方差和低维语义特征绑定到高斯基元，通过共享的泼溅渲染同时重建外观、几何与语义，并结合自适应高斯扩展、深度尺度正则和随机关键帧映射抑制高斯基元退化与优化偏差。该方法在 Replica 四个场景上的语义平均 mIoU 达到 96.63%，八场景平均 ATE 为 0.37 cm，同时以 109.12 FPS 渲染 RGB、深度和语义。

作者：Linfei Li、Lin Zhang、Zhong Wang、Ying Shen。单位：同济大学软件工程学院、上海交通大学自动化系。发表于 ACM Multimedia 2024。arXiv：2603.27781。DOI：10.1145/3664647.3680739。官方代码：lif314/GS3LAM，已公开。

一句话总结

GS³LAM 把颜色、深度、不透明度、协方差和低维语义特征绑定到同一个高斯基元，用共享的泼溅与可微光栅化同时完成实时渲染、相机跟踪和稠密语义建图，并以尺度正则与随机关键帧映射抑制几何退化和灾难性遗忘。

研究背景与问题定义

机器人执行室内巡检、移动操作或人机协作时，仅得到稀疏特征点和相机轨迹并不够。下游模块还需要一张连续的三维语义地图，回答某个像素、表面或空间区域属于墙壁、桌面、椅子还是可通行地面。传统语义 SLAM 常把地图离散化为点、体素、面元或网格。这些表示局部更新方便，但分辨率受存储与离散化限制，难以在未观测区域进行连续插值，也不容易把外观、几何和类别放进同一条可微优化链。

神经辐射场提供了连续隐式表达的另一种路径。以多层感知机表示空间密度和颜色后，系统可以通过体渲染合成新视角，并把语义通道加入网络。问题在于射线采样需要对每条光线做大量前向计算，实时性受限。SLAM 却要求系统跟着相机逐帧运行，跟踪、建图和可视化不能长期排队等待一次昂贵的全图优化。

三维高斯泼溅介于离散点云和连续隐式场之间。每个高斯具有位置、朝向、尺度、不透明度和颜色，投影到图像平面后可按深度排序并进行 alpha 合成。它保留了点表示的局部性与可修改性，又能用各向异性协方差描述连续表面。GS³LAM 的出发点正是利用这一表示，把 RGB、深度和语义统一为“每个高斯携带多种属性”的多模态地图。

直接把类别 one-hot 向量附加到每个高斯并不可取。类别数增加时，每个基元都要存储高维向量，优化和渲染成本随之上升；若每帧单独训练语义网络，又可能破坏跨视角一致性。本文因此采用低维可学习特征，先与颜色和深度共用泼溅过程，再通过一个极轻量解码器把像素特征映射为类别 logits。

论文还识别出两个与增量式 3DGS SLAM 紧密相关的问题。第一，新增高斯的尺度由深度和焦距初始化，跨帧变化很大，过大的高斯会糊掉物体边界，过小的高斯则难以覆盖表面。第二，若始终围绕与当前帧共视的局部关键帧优化，某些区域会被反复优化，另一些区域却长期得不到更新，最终出现旧视角渲染质量下降的“遗忘”。

预备知识：从三维高斯到二维像素

设场景由 $N$ 个语义高斯组成。第 $i$ 个基元的位置为 $\boldsymbol{\mu}_i$，三维协方差为 $\boldsymbol{\Sigma}_i$，不透明度为 $o_i$，颜色为 $\mathbf{c}_i$，语义特征为 $\mathbf{f}_i$。协方差不直接任意取值，而是由旋转矩阵 $\mathbf{R}_i$ 和尺度矩阵 $\mathbf{S}_i$ 构造，从而保证半正定并保留可解释的椭球形状。

$$ \mathcal{G}:=\{(\boldsymbol{\mu}_i,\boldsymbol{\Sigma}_i,o_i,\mathbf{c}_i,\mathbf{f}_i)\mid i=1,\ldots,N\} $$

$$ \boldsymbol{\Sigma}_i=\mathbf{R}_i\mathbf{S}_i\mathbf{S}_i^{T}\mathbf{R}_i^{T} $$

相机位姿记为 $\mathbf{T}_{CW}$。把高斯投影到像平面时，局部仿射近似通过雅可比 $\mathbf{J}_i$ 把三维协方差变换为二维协方差。这个矩阵决定椭圆在图像上的朝向和范围，也决定后续 alpha 权重。

$$ \boldsymbol{\Sigma}^{2D}_i=\mathbf{J}_i\mathbf{R}_{CW}\boldsymbol{\Sigma}_i\mathbf{R}_{CW}^{T}\mathbf{J}_i^{T} $$

对像素 $pix$，沿深度排序的 $M$ 个高斯按前向后顺序合成。颜色、深度和语义特征使用同一组 alpha 权重，因而几何遮挡会同时影响三种模态。若某个近处高斯挡住后面表面，它不只决定 RGB，也决定该像素的深度与语义。

$$ \hat{\mathbf{c}}_{pix}=\sum_{i=1}^{M}\mathbf{c}_i\alpha_i\prod_{j=1}^{i-1}(1-\alpha_j),\qquad \hat{d}_{pix}=\sum_{i=1}^{M}d_i\alpha_i\prod_{j=1}^{i-1}(1-\alpha_j) $$

$$ \hat{\mathbf{f}}_{pix}=\sum_{i=1}^{M}\mathbf{f}_i\alpha_i\prod_{j=1}^{i-1}(1-\alpha_j),\qquad \hat{s}_{pix}=\operatorname{softmax}(\mathcal{F}_{cnn}(\hat{\mathbf{f}}_{pix})) $$

这里的 $\alpha_i$ 同时包含不透明度和二维高斯概率密度。这样做的意义不只是“多渲染一个通道”，而是把语义误差反传到高斯位置、尺度、不透明度和特征，使二维标注能约束三维椭球的空间分布。

方法详解

1. 语义高斯场把三种监督放到同一条渲染链

SG-Field 的核心设计是把语义从后处理分割模块移入地图本体。每个高斯保存一个 $N_{sem}$ 维特征，最终类别由一乘一卷积解码。由于解码器在整张特征图上共享参数，像素之间不会各自产生一套独立分类器，空间邻域关系仍由卷积和泼溅结果保留。作者强调这种低维特征比逐高斯类别分布更节省存储，也让特征维度不随类别总数线性增长。

颜色、深度和语义共享 alpha 合成，还带来一个直接的结构优势：三种输出在同一光栅化遍历中产生，不必为语义再做一次射线采样。对实时 SLAM 来说，减少的不仅是计算量，还有多模态几何对齐的不确定性。深度边缘、颜色边缘和语义边界可以围绕同一组高斯基元共同优化。

2. 跟踪与建图采用解耦优化

跟踪阶段冻结 SG-Field，只优化当前相机位姿；建图阶段固定已估计的位姿，只更新高斯属性和语义解码器。这样的交替优化避免了同一轮梯度同时改动地图和相机后产生尺度漂移：如果地图和位姿都能任意补偿误差，光度损失可能被错误地解释为一个变形的地图加一个错误的轨迹。

$$ \mathbf{T}_{t}^{*}=\arg\min_{\boldsymbol{\Theta}_{\mathcal{T}}}\mathcal{L}_{tracking}\left(\mathcal{R}(\mathbf{T}_{t}\odot\mathcal{G}_{t-1}),\mathcal{O}_{t}\right) $$

$$ \mathcal{G}_{t}^{*}=\arg\min_{\boldsymbol{\Theta}_{\mathcal{G}}}\sum_{i=1}^{k_m}\mathcal{L}_{mapping}\left(\mathcal{R}(\mathbf{T}_{i}\odot\mathcal{G}_{t}),\mathcal{O}_{i}\right) $$

源码中的分工与论文描述一致。/tmp/GS3LAM/src/Loss.py:28-43 在跟踪分支调用 transform_to_frame(..., gaussians_grad=False, camera_grad=True)，在建图分支则令高斯可导而相机不可导。这个实现细节很关键：它保证“只更新谁”不是口头描述，而是由计算图隔离落实。

3. 观测掩码让跟踪只相信可见且几何合理的像素

当前帧到来时，旧地图不可能覆盖所有新视野。本文先从上一帧位姿按恒速模型初始化当前位姿，再渲染旧地图并与 RGB-D 和语义观测比较。若对全图一视同仁，未观测区域会以错误的高损失把位姿拉向不可靠方向。因此跟踪损失只选择渲染不透明度足够高、且深度误差没有明显离群的像素。

$$ M_{obs}=\mathbb{I}(\hat{o}_{pix}>\tau_{obs})\land \mathbb{I}(L_1(d_{gt},\hat{d}_{pix})<10\tilde{L}_1(d_{gt},\hat{d}_{pix})) $$

$$ \mathcal{L}_{tracking}=M_{obs}\left(\lambda_c^t\mathcal{L}_{color}^t+ \lambda_d^t\mathcal{L}_{depth}+\lambda_s^t\mathcal{L}_{sem}\right) $$

这两条公式把“地图没看见的地方不要拿来定位”写成了显式门控。消融结果也印证其重要性：在 Replica Office 1 上移除观测掩码后，绝对轨迹误差从 0.21 厘米恶化到 43.12 厘米，语义平均交并比从 97.35% 降到 30.23%。这不只是精度下降，而是跟踪与地图更新共同失稳。

4. 自适应扩展从未观测区域补高斯

每帧跟踪结束后，系统重新渲染当前帧，并计算累积不透明度。低不透明度表示该像素没有被现有高斯充分覆盖；另一类掩码寻找渲染深度明显位于真实深度之后且误差远高于当前中位误差的像素，这通常意味着前景几何缺失。两者取并集，得到新高斯插入区域。

$$ M_{unobs}=\mathbb{I}(\hat{o}_{pix}<\tau_{unobs})\lor \mathbb{I}(\hat{d}_{pix}>d_{gt}\land L_1(d_{gt},\hat{d}_{pix})>50\tilde{L}_1(d_{gt},\hat{d}_{pix})) $$

新高斯的位置由带深度像素反投影得到，颜色取自当前图像，语义特征以随机球谐系数初始化，不透明度设为 0.5，尺度以深度除以焦距起手。这样做比 K 近邻初始化更快，适合逐帧扩张。源码 /tmp/GS3LAM/src/Mapper.py:189-227 同时构造 alpha 缺失掩码与深度缺失掩码，再把并集像素送入点云反投影，和论文公式一一对应。

5. 深度自适应尺度正则约束几何表面

深度相关初始化解决了新点从哪里来，却没有解决同一场景中远近帧引入的尺度方差不一致。本文设置大尺度与小尺度两个尾部惩罚：大于上界的高斯直接压低其平均尺度，小于下界的高斯通过负对数阻止其继续缩小。目标是让椭球尺寸落在能贴合表面的范围内，而不是让少数基元无限扩张或塌缩。

$$ \mathcal{L}_{big}=\frac{\sum_i s_i\mathbb{I}(s_i>s_{big})} {\sum_i\mathbb{I}(s_i>s_{big})},\qquad \mathcal{L}_{small}=\frac{\sum_i-\log(s_i)\mathbb{I}(s_i<s_{small})} {\sum_i\mathbb{I}(s_i<s_{small})} $$

论文将上下界描述为由深度自适应决定。官方实现 /tmp/GS3LAM/src/Loss.py:106-123 取当前尺度的均值与标准差，以 $\mu_s\pm2\sigma_s$ 作为实际阈值。这个实现可以看作以深度初始化为先验后的分布级近似：它没有在每个 loss 调用中重新读取每个高斯的深度，而是用整组尺度分布识别尾部异常。理解这一差异有助于复现实验，也提醒读者不要把它误解为逐高斯、逐帧的硬深度阈值。

6. 随机关键帧映射抑制优化偏差

局部共视关键帧策略把与当前帧共享较多视野的帧放在一起优化，看似合理，却会让优化预算和几何覆盖耦合。共视密集区域被反复更新，可能过拟合当前局部；共视稀疏区域进入优化集合的机会少，容易欠拟合。论文用图 2 的轨迹与 PSNR 分布展示这种偏差，并用图 3 展示随机采样后的变化。

RSKM 给每个关键帧非零采样概率，同时周期性强制选择当前帧。设关键帧集合大小为 $|\mathcal{K}|$，当前帧为 $f_{cur}$，映射迭代为 $k_m$，优化间隔为 $t_{opt}$，则采样分布可以写成

$$ p(f)=\frac{1}{|\mathcal{K}|}+ \left(1-\frac{1}{|\mathcal{K}|}\right) \delta_{f,f_{cur}}\delta_{\operatorname{mod}(k_m,t_{opt}),0} $$

这个式子表达的是均匀探索与当前帧利用的折中。源码 /tmp/GS3LAM/src/GS3LAM.py:309-324 在多数迭代中用 random.choice 从关键帧列表抽样，在固定间隔改选当前帧。它绕开了耗时的共视关键帧选择，却仍让旧视角持续获得梯度。

7. 多任务损失与训练流程

建图损失组合光度、深度、语义和两个尺度尾部项。颜色项采用一范数与结构相似度的组合，深度项和语义项约束像素级一致性。最终梯度不是只服务于“这张图看起来像不像”，而是同时要求深度贴近观测、类别边界与几何边界大致重合、椭球尺度不失控。

$$ \mathcal{L}_{mapping}=\lambda_c^m\mathcal{L}_{color}^m+ \lambda_d^m\mathcal{L}_{depth}+ \lambda_s^m\mathcal{L}_{sem}+ \lambda_{big}^m\mathcal{L}_{big}+ \lambda_{small}^m\mathcal{L}_{small} $$

论文正文把语义损失写成二分类交叉熵形式，但公开代码 /tmp/GS3LAM/src/Loss.py:90-104 实际调用多类别 CrossEntropyLoss，再除以 log(num_classes) 归一化。两者在单类别概率建模上概念接近，数值实现并不相同。复现实验时应以代码的类别 softmax 与归一化交叉熵为准，论文中的公式更适合解释监督意图。

8. 一乘一解码器为什么足够

源码 /tmp/GS3LAM/src/Decoder.py:29-40 的 SemanticDecoder 仅包含一个核大小为 1 的二维卷积。它把每像素的 $N_{sem}$ 维渲染特征线性映射为类别 logits，不改变空间尺寸。语义空间平滑主要来自三维高斯在投影后的重叠合成，而不是依赖深层图像网络补全。这样可避免解码器偷偷利用二维纹理或邻域上下文“修复”不一致的三维语义，也降低训练成本。

9. 完整运行流程

flowchart TB
    A[RGB-D frame and 2D labels] --> B[Initialize pose with constant velocity]
    B --> C[Render SG-Field color depth alpha and feature]
    C --> D[Observed mask]
    D --> E[Tracking loss]
    E --> F[Update camera pose only]
    F --> G[Render again and build unobserved mask]
    G --> H[Insert Gaussians from depth back-projection]
    H --> I[DSR scale tails]
    I --> J[RSKM samples keyframes and current frame]
    J --> K[Mapping loss]
    K --> L[Update field and semantic decoder only]
    L --> C

实验设计与主要结果

作者在 Replica 的八个合成室内场景和 ScanNet 的真实室内序列上评估。渲染使用 PSNR、SSIM 和 LPIPS，跟踪使用绝对轨迹误差的均方根，语义重建使用平均交并比。实验机器为 AMD EPYC 7302 处理器和 NVIDIA RTX 3090。论文正文称使用五个 ScanNet 子集，但表 1 和表 9 实际列出六个场景，这一数据集数量表述需要在后续版本中统一。

Replica 上的渲染结果表明，GS³LAM 的平均 PSNR 达到 36.26 dB，SSIM 为 0.989，LPIPS 为 0.052。相较 3DGS 路线中较强的 SplaTAM，PSNR 提高 2.15 dB；相较 Point-SLAM，提高 1.09 dB。更低的 LPIPS 说明优势不只来自逐像素亮度，而也反映在感知特征上。语义特征与尺度正则让地图更关注物体边缘，减少了 NeRF 和早期高斯方法常见的表面模糊。

ScanNet 的跨域结果更能说明问题。真实深度噪声、运动模糊和曝光变化会破坏理想高斯假设，但 GS³LAM 仍取得 22.86 dB、0.868 和 0.222 的平均值，比 SplaTAM 高 3.72 dB。这个差距表明随机关键帧映射缓解的不只是合成场景中的局部优化偏差，也有助于真实数据上的全局一致性。

表 1：Replica 语义重建与 3DGS 跟踪结果
方法	语义 mIoU / %	ATE RMSE / cm	渲染 FPS
NIDS-SLAM	82.37	—	—
DNS-SLAM	84.77	—	—
SNI-SLAM	87.41	—	—
SplaTAM	—	0.36	67.22
GS³LAM	96.63	0.37	109.12

语义 mIoU 的优势很突出。与 SNI-SLAM 的 87.41% 相比，GS³LAM 的 96.63% 高 9.22 个百分点。原因是语义不是由独立二维网络贴在深度图上，而是沿高斯基元在所有观测帧中共同优化。只要几何基元被跟踪约束到正确表面，语义特征就更容易跨视角保持一致。需要保留的边界是：Replica 标注来自受控数据集，高 mIoU 不能直接外推为开放世界机器人感知性能。

跟踪结果呈现另一面。GS³LAM 八场景平均 ATE 为 0.37 厘米，略差于 SplaTAM 的 0.36 厘米。作者解释，语义嵌入让模型更关注物体边缘和细节，而跟踪更依赖强显著特征，因此细节监督不一定改善位姿估计。Office 0 和 Office 4 分别是 0.67 厘米和 0.65 厘米，明显高于另外几个约 0.2 至 0.3 厘米的场景。这说明地图的语义质量与定位精度并非单调同向，多任务损失需要权衡。

表 2：Replica Office 1 消融实验
变体	PSNR / dB	Depth / cm	ATE / cm	mIoU / %
移除观测掩码	19.63	13.31	43.12	30.23
移除未观测掩码	39.10	1.08	0.28	90.44
移除尺度正则	40.04	0.85	0.25	93.96
移除随机关键帧	37.48	1.23	0.29	89.13
完整模型	41.21	0.41	0.21	97.35

消融实验把各组件的作用区分得很清楚。观测掩码是最强的前置条件，缺失后跟踪几乎失效。未观测掩码影响新区域覆盖，移除后 mIoU 下降 6.91 个百分点。尺度正则与随机关键帧分别把 mIoU 从 97.35% 拉低到 93.96% 和 89.13%，其中随机关键帧对 PSNR、深度和语义都造成更大损失，说明全局视角覆盖比单纯局部细化更重要。

不同机制的作用对象并不相同。未观测掩码决定“地图哪里需要新建”，尺度正则决定“新建或已有椭球应该多大”，随机关键帧决定“更新时回看哪些历史观测”。三者串联起来才构成增量建图闭环。若只补新点而不回看旧帧，地图会越来越偏向近期视角；若只回看而尺度失控，语义边界又会被大高斯抹平。

运行时间需要分两层理解。Replica Office 0 上，单次渲染达到 106.56 FPS，八场景平均 109.12 FPS，约是 SplaTAM 的 1.62 倍；但建图每帧仍需 4.29 秒，跟踪每帧 3.01 秒。这里的高帧率描述的是已建地图的渲染吞吐，不是端到端机器人闭环延迟。论文将实时渲染与增量 SLAM 成本区分开来，部署时也必须保持同一口径。

图 4 展示了 RGB-D 与二维标签如何进入 SG-Field，并在跟踪、扩展、随机关键帧建图和语义解码之间循环。图中最容易被忽略的是跟踪与建图之间的位姿边界：同一条渲染链服务两个目标，但反向传播的门控不同。高性能来自共享表示；稳定来自解耦优化。

图 4：GS³LAM 的语义高斯场、跟踪、自适应扩展、尺度正则与随机关键帧映射流程。

图 5 用两个相机视角说明遗忘。相机 A 先优化一组高斯，相机 B 随后优化与其共视的基元，这些共享基元可能被 B 的新观测过度拟合，导致 A 的旧视角质量下降。随机采样并不消除参数共享，而是让优化目标在多个时间片上轮换，降低某个局部视角长期占据梯度的概率。

图 5：共视高斯在后续帧优化中被过度拟合，导致先前视角的语义与几何质量下降。

图 6 给出 Replica 与 ScanNet 的定性比较。合成数据上主要观察轮廓、纹理和高光是否保持；真实数据上还要面对标注边界不清和深度噪声。GS³LAM 的优势集中在物体边界和复杂表面的连贯性，但定性图不能替代按场景统计的失败案例，尤其不能据此判断动态物体或低纹理环境下的稳定性。

图 6：GS³LAM 与对比方法在 Replica 和 ScanNet 上的渲染及语义结果。

讨论：论文没有直接回答的问题

第一，语义标签质量与地图质量是双向耦合的。二维标注若在帧间不一致，共享高斯特征会把这些冲突平均掉，表现为边界变软或错误类别扩散。公开 README 提到 TUM-RGBD 使用 DEVA 伪标签，并坦言长序列帧间语义一致性有限，只测试了 freiburg1_desk。这比“在真实场景同样有效”的宽泛结论更接近实际适用范围。

第二，显式高斯基元会随探索区域增长。地图越大，排序、光栅化和反向传播涉及的高斯越多，内存与每帧映射时间都会上升。论文报告的是单个办公场景的运行时间，没有给出长时间导航、回环或大尺度多房间地图的增长曲线。四点二九秒每帧的建图成本意味着当前系统更适合离线近实时重建或短序列实验，而非所有机器人都能直接采用的低延迟模块。

第三，分割类别与开放词汇能力没有展开。SG-Field 的特征维度固定，解码器输出固定类别集合。更换场景时需要重新定义类别和训练数据，无法仅凭自然语言查询识别任意物体。对仓储、医院和家庭等不同环境，可能需要类别增量学习，而论文没有讨论新增类别时如何避免旧类别漂移。

局限性

作者明确承认的一项局限是跟踪精度没有超过 SplaTAM：Replica 平均 ATE 为 0.37 厘米，而 SplaTAM 为 0.36 厘米。原因不是随机波动的一句话解释，而是多任务监督的取向不同。语义细节和几何边界对建图有利，但相机定位更依赖稳定、显著、可从粗到细匹配的结构。若未来把语义损失简单加大，可能继续改善分割却损害定位。

第二项局限来自真实数据上的显式高斯表达。ScanNet 深度噪声较大，NeRF 类方法可用多层感知机和平滑先验吸收部分误差，而显式高斯会把错误深度直接转化为基元位置和尺度。作者认为可引入多层感知机优化高斯属性以增强鲁棒性，但当前版本仍平均 ATE 11.24 厘米，远高于 Replica，说明真实机器人部署不能只看合成数据结果。

第三项是评测口径的完整度。数据集数量在正文与表格间存在不一致，运行时间只报告 Office 0，语义对比主要使用 Replica，缺少对动态物体、长期运行、内存峰值和失败恢复的统计。mIoU 很高并不等于每个场景都可靠；论文没有给出按类别、按距离或按表面材质的误差分布，这些切片对机器人应用比单一平均值更有决策价值。

结论与展望

GS³LAM 的主要贡献不是把语义通道接到 3DGS 上这一动作本身，而是把语义、几何和外观组织成一个可持续更新的 SG-Field，并围绕增量建图的两个失效模式给出可执行约束。观测掩码让跟踪不被未知区域拖走，未观测掩码让地图继续扩张，尺度正则限制几何退化，随机关键帧映射让旧视角持续参与优化。实验结果证明这套组合在 Replica 的语义 mIoU 上达到 96.63%，并在渲染速度上明显优于 SplaTAM。

后续工作最值得验证的方向有三条。其一，把语义不确定性显式写入高斯，让低置信标签不会以同等权重污染地图。其二，在大尺度序列上评估地图压缩、关键帧淘汰和回环后的语义一致性。其三，将高质量语义地图接入导航、抓取或人机交互任务，测量下游成功率，而不是停留在渲染与分割指标。只有完成这些验证，109 FPS 的渲染吞吐和 96% 级 mIoU 才能转化为机器人系统的实际能力。

语义地图的价值不在“给点云涂上颜色”，而在让每个高斯同时承担外观、几何和类别的约束，并让三者经得起跨视角更新。