综合 · SynthesisSynthesis
高斯表示的工程化:压缩、LOD 与可编辑资产
Engineering Gaussian Representations
3D Gaussian Splatting (3DGS) 的优势是把捕获场景变成显式、可并行投影的高斯集合;真正要放进实时产品,难点却从“能否渲染”转移到了高斯数量、显存带宽、层次细节、流送、编辑接口和材质分解。本页把论文中的工程路线串成一条链:先控制表示规模,再让质量随视距和预算变化,最后补上网格、材质和可重光照接口。
1. 压缩不只是把文件变小
一个高斯通常包含位置、协方差、透明度、球谐颜色等属性。压缩论文会从不同入口减少成本:量化参数、预测相邻高斯、利用哈希或上下文、剪枝贡献较小的 primitive,或把表示重组为更适合熵编码的结构。
- Compact 3D Gaussian Representation 与 Compressed 3D Gaussian Splatting 代表参数量化、结构化编码和率失真权衡;文件大小下降并不自动意味着解码和随机访问便宜。
- HAC 用哈希网格辅助上下文预测,说明压缩可以利用空间相关性,但需要额外的解码和访问模式。
- PUP 3D-GS 以不确定性指导剪枝;Speedy-Splat 则从稀疏像素与稀疏 primitive 角度减少训练/渲染工作。剪掉的是低贡献或低置信度容量,不是“所有远处高斯”。
- 动态场景还要压缩时间维:4DGC 将运动网格、补偿高斯、量化和熵模型放进率失真目标;Temporally Compressed 3DGS 需要同时观察码率、插值解码和快速运动误差。
因此评估时至少记录:每帧/每块字节数、解码时间、显存峰值、随机访问粒度、新视角质量,以及透明、镜面和细薄结构是否先坏掉。只报压缩比会掩盖运行时成本。
2. LOD 是渲染调度,不是单一简化算法
大场景中的高斯不能全部以同样精度参与每个像素。层次 3D 高斯、VastGaussian、CityGaussian 和 Octree-GS 分别从层次组织、城市级分块和八叉树 LOD 处理规模问题。它们共同提示一个工程原则:LOD 选择应围绕屏幕投影误差、可见性和流送预算,而不是只按世界空间距离删除点。
一个可落地的调度循环可以是:
- 用视锥、遮挡和屏幕覆盖估计候选块;
- 为块选择高/中/低密度高斯层级;
- 预取相邻块并保留低质量 fallback;
- 按帧时间和显存压力动态降级;
- 在切换时做滞后或渐变,避免 popping。
高斯的透明合成和深度排序使 LOD 还有一个特殊风险:删掉某些 primitive 可能改变前后层的透射关系,产生空洞、闪烁或边缘变暗。因此应把渲染结果的时间稳定性纳入指标,而不是只比较单帧 PSNR。
flowchart LR A["视锥/遮挡/屏幕误差"] --> B["选择空间块与 LOD"] B --> C["预取压缩数据"] C --> D["解码与投影"] D --> E["排序 + Alpha 合成"] E --> F["帧时间/显存反馈"] F --> B
图中反馈环表示 LOD 和流送必须与运行时预算联动;它不是一次离线简化后就永远固定的资产处理。
3. 从高斯到网格和材质
高斯能很好地表达捕获外观,却不天然保证水密表面、稳定法线、UV、碰撞或 PBR 参数。Gaussian Surfels 与 SuGaR 代表沿表面重建和网格提取的路线;GeoSplatting 等逆向渲染工作则尝试让几何、材质和光照分工更清楚。它们的价值不是证明“高斯已经等于网格”,而是提供从视觉代理走向可编辑资产的桥梁。
工程上应把接口拆开:高斯负责捕获场景的快速浏览或远景外观;网格负责碰撞、骨骼和编辑;法线、BRDF、入射光、可见性和曝光负责重光照。球谐颜色或神经颜色把捕获光照烘焙进外观时,直接替换光源会暴露材质—光照歧义。
4. 适合什么,不适合什么
适合:数字孪生浏览、实拍背景、远景代理、过场回放和需要快速展示的扫描场景。谨慎:近距离第一人称、强镜面/透明物体、需要碰撞和破坏的对象、频繁换灯光的关卡,以及需要长期稳定流送的开放世界。后几类往往需要网格、PBR、专用碰撞体和传统引擎资源系统共同工作。
出处 · Sources
- README
- 2024-kerbl-hierarchical-3d-gaussians
- 2024-lin-vastgaussian
- 2024-liu-citygaussian
- 2024-lee-compact-3d-gaussian-representation
- 2024-niedermayr-compressed-3d-gaussian-splatting
- 2024-chen-hac
- 2025-ren-octree-gs
- 2025-hanson-speedy-splat
- 2025-hanson-pup-3d-gs
- 2025-hu-4dgc
- 2025-javed-temporally-compressed-3dgs
- 2024-guedon-sugar-surface-aligned-gaussian-splatting
- 2025-ye-geosplatting