Skip to content
←返回开源项目

OPEN SOURCE DEEP DIVE

3D高斯泼溅3D Scene EditingScan Cleanup机器人感知

Splat Repair:3D 高斯泼溅扫描的修复画笔

修复机器人采集的三维高斯扫描:圈选损坏区域,用几何供体或图像先验补齐表面,并清理浮点与未观察雾状伪影。

NicolasDrum/splat-repair109PythonApache-2.01 min read

Splat Repair 是一个面向三维高斯泼溅扫描的桌面修复工具。它不是重新训练一套场景表示,而是在已经生成的高斯扫描上圈定损坏区域,删除其中的高斯,再根据周围表面补回几何、颜色和视角相关内容。项目仓库中的示例把海滩小屋招牌上的红色十字刷掉,补齐招牌的白色底板和边框,同时保留周围木板的纹理与光照。

Splat Repair 修复前的海滩小屋三维高斯扫描,招牌上有红色十字
修复前:招牌中央存在需要移除的红色标记。图片来自项目仓库的公开示例。
Splat Repair 使用快速填充后的海滩小屋扫描,红色十字已被移除
快速填充后:标记被移除,招牌表面得到补全。该示例用于说明工具能力,不等同于独立的定量评测。

它解决的是扫描清理,而不是机器人运行时问题

这个项目最容易被误读的地方,是把它当作机器人感知系统或三维重建流水线。实际上,Splat Repair 的输入是已经训练完成的高斯场景文件,主要工作是删除错误高斯、修补局部空洞、清理浮点和遮挡后方雾状伪影。它没有机器人坐标变换、传感器融合、实时定位、导航或控制接口,也没有把修复结果回写到机器人地图的运行时链路。

对机器人团队而言,合理的定位是离线的数据整理和可视化编辑工具。机器人携带相机采集环境后,三维高斯重建常会带有移动物体残影、标签、临时遮挡、训练不足造成的小洞,以及只在相机未覆盖角度出现的浮点。Splat Repair 可以用人工圈选的方式清理这些问题,供数字孪生展示、场景审阅或后续训练数据检查使用。修复后的局部表面应当被视为视觉上的合理补全,不能当作新的深度测量、碰撞几何或安全关键地图证据。

因此,它适合“已经有一份可打开的高斯扫描,需要在局部做精细修整”的场景;不适合“希望自动处理成批扫描并保持严格度量一致性”的场景。这个边界需要在任何机器人数据生产流程中明确写出,否则人工审美修补和传感器事实会被混为一谈。

桌面界面与本地引擎的分离架构

应用主体建立在 Electron 与 PlayCanvas 的 WebGPU 查看器之上,负责相机操作、选择工具、菜单和显示。高斯的读取、编辑、几何拟合和导出由 Python 引擎完成。两者不是通过本地网页服务通信,而是由 Electron 主进程启动 Python 子进程,通过父子进程管道交换消息。这样的设计避免了占用本地端口、触发浏览器网络访问提示、遭遇端口冲突,也减少了其他本机网页直接调用编辑端点的风险。

通信帧由两个小端无符号整数开始,分别记录头部长度和二进制负载长度,随后是 UTF-8 的 JSON 头部与原始二进制负载。命令参数和少量状态放在 JSON 中,高斯索引及大规模属性数组则以原始数值块传输。仓库注释给出了一个很直观的规模差异:三万五千个新高斯若逐项写成 JSON 数字,可能膨胀到约九十兆字节,而原始单精度数组只需要约八兆字节。协议选择直接服务于大场景编辑的延迟和内存压力。

查看器与引擎读取同一份源文件,因此同一个高斯编号在两侧指向同一个对象。增加或修复表面时只传索引、参数和新增属性,不传整份场景。非 PLY 输入会由引擎生成临时 PLY 视图镜像,因为查看器原生能够解析 PLY、SOG 和 glTF,而项目没有在浏览器侧重复实现另一套压缩格式解析器。镜像只保留当前打开的一份,切换文件时清理旧副本。

稳定编号让编辑和撤销更可控

文档模型把打开时的原始高斯固定在从零到原始数量的区间内。后续修复产生的高斯统一追加在尾部,删除和修复都不重排数组,只改变存活掩码。这样一来,界面中的选择、引擎中的操作和撤销记录始终使用同一套稳定编号,不必为了删除一个区域而重写全部属性,也不会让一次编辑改变其他高斯的编号。

撤销会恢复被关闭的高斯并截掉本步生成的尾部,重做则把保存下来的生成尾部重新接回。项目没有采用“重新运行一次随机修复”的做法,因为同一组参数可能产生不同结果,用户会看到前后不一致的表面。重做直接复用已经计算出的那批高斯,使修复操作在历史记录中保持确定性。这个设计对扫描编辑尤其重要:高斯之间的尺度、旋转和球谐系数彼此关联,重新采样一次可能改变局部材质感,而不只是改变可见或不可见状态。

快速填充如何重建局部表面

快速填充把局部表面近似为切平面上的高度场。算法先从洞口边缘估计一组稳定的切向坐标,把三维问题转成二维的“平面坐标加高度”。随后拟合一个光滑的高度函数,再把从邻近区域借来的高频起伏叠回去。这样既能延续墙板、招牌和地板这类平缓表面的整体形状,又不必用平滑曲面抹掉原有粗糙度。

最关键的选择是“完整复制供体高斯”,而不是对邻居做平均。一个高斯的尺度、旋转和各阶球谐系数是训练时联合得到的,直接平均四元数可能得到任何邻居都不具有的朝向,平均对数尺度也容易把局部质感膨胀成棉絮状。算法因此从附近挑选一个完整供体样本,继承它的协方差与视角相关辐射,只改写位置与零阶颜色项。新表面的细碎纹理来自真实样本,而不是从抽象统计量重新合成。

项目提供三种供体策略。边缘模式下,每个新高斯按距离概率从洞口边缘复制,适合颗粒、布料、磨损橡胶等随机纹理,但无法重新构造大于边缘带宽度的重复结构。补丁模式会在同一表面寻找一块边缘特征与当前洞口匹配的完整区域,再把整块结构搬过来,适合轮胎花纹、编织物和地砖。自动模式先尝试补丁匹配,没有足够可靠的候选时回退到边缘模式。两种模式都保留表面的原始高斯形态,避免拼接出尺度突变。

扫描物体常有外壳与内壁相距很近,投影到同一二维网格后可能混层。工具利用用户落笔时的相机方向判断哪一面朝向观察者,并从该侧截取第一层有一定厚度的表面。只有在没有视角或视线几乎平行于表面时,才根据两侧材料数量推断外表面。这个细节说明它不是简单地把画面修复扩大到三维,而是在处理扫描几何的多层歧义。

仓库给出的性能量级是:在五十万高斯左右的扫描上,中央处理器运行快速填充约需零点三到一点五秒。这个数字有明确边界,不是任意规模、任意拓扑的吞吐承诺。对于机器人数字孪生中常见的单房间、设备表面和工件扫描,它意味着交互式修补是可行的;对于城市级点云或超高密度场景,仍需单独测量。

深度填充把图像先验带回三维

深度填充不是先让生成模型凭空画出一个洞,而是先完成几何修复,得到切平面、拟合表面以及位置合理且协方差协调的高斯。随后沿补丁法线渲染一张参考视图,把补丁区域交给图像修复模型,再把修复后的像素通过最小二乘拟合回相应高斯的颜色。最后从其他视角检查结果,若补丁在多视角下明显变差,就拒绝这次结果并回退到几何复制方案。

项目选择 LaMa 而不是扩散模型,理由来自多视图一致性。仓库注释引用了一项三维高斯修复的直接比较:重建式图像修复在微调后的多视图一致性明显好于生成式方法,后者在二维画面中可能更锐利,但每个视角会想象出不同内容,提升到三维后无法保持一致。参考视图只取一个也有依据:高斯的零阶颜色项与视角无关,单张视图足以确定该分量;其余视角相关项继续继承真实供体高斯,避免把多张互相矛盾的图平均成灰色模糊。

深度填充对硬件有明显要求。它需要英伟达显卡、CUDA 工具链和微软编译工具,首次安装并编译相关依赖约需三吉字节下载量。仓库给出的运行时间约为在 RTX 4090 上二十秒。只有在快速几何填充已经成功、但颜色或结构仍需要图像先验时,深度填充才值得付出这套依赖和等待时间。没有显卡的用户仍然可以使用快速填充、克隆图章和其他几何工具。

清理浮点与未观察表面

清理工具面对的第一类问题是孤立浮点。它们来自约束不足的区域,附近没有其他高斯连成结构,却会在某些视角中挡在场景前面。早期实现只根据邻居距离、透明度和尺寸打分,结果在海滩小屋上误删了大量百叶窗和屋顶高斯,因为稀疏并不等于错误。当前逻辑把孤立程度作为可疑度,但要求同时存在第二个独立证据,例如高斯属于一个很小的独立连通组,或从训练相机可能所在的上半球看它长期藏在混合表面后方,而从下半球看又有足够透射。

第二类问题是隐藏雾状伪影。训练照片中的不透明物体挡住了射线,优化器没有得到否定证据,就会在物体后方留下彩色雾。工具在物体周围虚构四十八个相机方向,把上半球视为可能的训练视角,把下半球视为未观察方向,衡量每个高斯在上下视角中的深度、曝光和贡献比例。单独依赖透明或颜色很容易误删树冠边缘,因此还加入了尺寸、上方可见比例和下方可见比例的组合判断。

更重要的是,隐藏雾并不总该删除。小屋下方的沙地雾可能是唯一填满未被拍摄地面的材料;如果直接清除,从下方看会出现空洞,并露出从未被相机观察过的屋顶背面。工具会先在没有候选雾的情况下从下方渲染,如果删除后暴露的是没有训练数据支持的表面,就保留这层雾。这个保护逻辑体现了一个正确原则:清理的目标不是让当前视图好看,而是尽量不制造新的不可见表面空洞。

没有可用显卡时,多视角隐藏项无法计算,清理只能可靠识别独立的浮点连通组。界面上的阈值滑动不会在两个离散结果之间产生更多变化。这个限制应当在机器人采集批处理中明确记录,而不是把中央处理器结果误当作完整的多视角清理。

选择、移动与文件格式

编辑器提供画笔、套索、矩形框、克隆图章和移动工具。画笔沿着笔触在三维空间中扩展选择,套索可以只选表面或穿过物体,矩形框适合规则区域,克隆图章用另一处表面覆盖目标,移动工具则调整所选区域。对选区可以删除、填充或导出。对象识别会在画笔覆盖独立物体时扩大选择,使物体与其边缘和阴影一起被处理;但如果识别目标本身附着在完整表面上,系统应回退为局部修复,而不是强行把整个物体删除。

格式用途与代价
PLY项目的无损工作格式,全部属性以单精度保存,加载再保存可以逐位一致。编辑后应优先保留该格式。
SPLAT面向网页查看器的轻量格式,每个高斯只占三十二字节,无法保存零阶之外的球谐系数。重新打开时,有光泽的物体会变成近似漫反射外观。
SPZ保留全部球谐频带,但位置、尺度、透明度和颜色都会量化,文件通常比 PLY 小数倍。读取器兼容现有版本,写出器固定生成第三版。

SPZ 第三版采用“最小三分量”四元数编码,不再总是丢弃第四个分量。项目给出的测量中,旧方案在随机旋转上的中位误差约为零点六三度,九十九分位约为七度,最坏约为十点八度;第三版最坏约为零点二度。对于各向异性明显的高斯,这种旋转误差会直接改变表面外观。第四版压缩流可以读取,但没有写出支持,因为仓库维护者没有可验证的参考文件,不愿发布一个其他工具可能拒绝的非标准写出器。

PLY 的旋转顺序是实部在前,而 SPLAT 与 SPZ 的磁盘顺序不同;球谐系数在 PLY 中按颜色通道分块,在 SPZ 中则按系数分组、颜色通道位于最内层。项目把这些布局差异集中在格式模块处理。对于需要把修复结果交给下游机器人仿真或渲染器的人,这些细节比“支持三种扩展名”更重要,因为一次静默的坐标分量顺序错误就会让表面法线整体旋转错位。

运行条件与工程成熟度

项目当前只声明支持 Windows 10 和 Windows 11,尚未在 macOS 或 Linux 上测试。基础安装需要 Node.js 22 及以上版本,以及 Python 3.10 到 3.13。安装脚本把依赖放在项目目录中,应用由 Electron 启动;深度填充作为可选组件单独安装。开发者还在仓库中说明,安装深度填充时包管理器会打印依赖冲突,但只要安装流程最终报告准备完成,就属于预期现象。

项目采用 Apache 2.0 许可证。LaMa 的代码与权重也以 Apache 2.0 发布,但训练数据 Places2 另有条款,商业使用前需要单独检查。这个区别不应被简化为“整个项目商业可用且没有附加条件”。对机器人企业而言,视觉修复工具的输出还可能需要经过内部数据治理、版权和模型权重审查。

成熟度方面,作者明确称其为早期版本,并建议用户保存扫描副本。平缓墙面、招牌、地板、贴纸和小把手是较可靠的案例,强重复浮雕则可能失败。鞋底花纹就是仓库点名提到的困难对象:自动补丁可能无法正确延续纹理节奏,需要克隆图章手工修整。这个限制并不削弱项目价值,但意味着它目前更像一位可控的扫描修图工作台,而不是无需复核的自动清障器。

机器人团队应该如何使用它

第一类合理用法是机器人采集数据后的可视化清理。移动机器人拍摄室内设备、实验台或大厅后,三维高斯扫描可能出现反光碎片、人员残影和局部缺失;人工选择区域并快速填充,可以生成更适合数字孪生展示的场景。第二类用法是采集质量诊断。编辑者能清楚看到哪些洞口无法由同一表面供体补齐、哪些视角从未被相机覆盖,这些信息可以反馈到下一轮采集轨迹,而不是把补全结果当作新增观测。

第三类用法是下游训练数据的整理,但必须保留溯源。原始扫描、编辑掩码和导出文件应分层保存,修复区域应带有“非传感器观测”的标记。若把修复后的高斯直接混入真实扫描训练集,模型可能学会接受人工生成的纹理和几何连续性。对于需要碰撞检测、抓取规划或导航代价地图的任务,更应只使用原始几何,或让修复后的表面经过独立传感器复核。

项目本身没有命令行批处理接口、机器人操作系统节点、远程服务或自动质量报告。工程团队若要把局部修复纳入流水线,需要在外围自行封装文件准备、人工选择、导出和审计步骤。当前最实际的接入方式,是由数据操作员在 Windows 工作站上逐场景编辑,再把经过标记的结果交给可视化或审阅系统,而不是把它当作无人值守的机器人感知组件。

结论

Splat Repair 所展示的最有价值部分,不是“把图片里的物体擦掉”这一表面效果,而是修复时对高斯整体属性的尊重:稳定编号、完整供体复制、视角相关项继承、几何先行、图像先验后置,以及清理时避免暴露未观察表面。这些设计使它比简单的二维修补或邻域平均更接近真正的高斯场景编辑。

它值得机器人团队关注的场景,是离线清理机器人拍摄的三维高斯重建,尤其是设备展示、数字孪生和采集质量审阅。它不提供机器人运行时感知、导航或控制能力,也不会把人工补全变成新的测量事实。把这两件事分清之后,这个早期项目已经提供了一个有工程细节、可验证实现和明确边界的扫描修复思路。

本文依据公开仓库提交 8487b80bdb512650a7cbc1a8165af62c34b9567d 的说明文档、协议实现、文档模型、修复、深度填充、清理和格式代码撰写。仓库自带的基础格式与服务测试在审查时通过十三项;依赖缺失导致更大范围测试无法在本地完整收集,因此文中没有把未运行的图形处理器修复测试写成已验证结果。

相关开源项目

本站含 CakeGrowth 联盟推广链接,我们可能从符合条件的购买中获得佣金。