综合 · SynthesisSynthesis

综合页

高斯表示的工程化:压缩、LOD 与可编辑资产

Engineering Gaussian Representations

3D Gaussian Splatting (3DGS) 的优势是把捕获场景变成显式、可并行投影的高斯集合;真正要放进实时产品,难点却从“能否渲染”转移到了高斯数量、显存带宽、层次细节、流送、编辑接口和材质分解。本页把论文中的工程路线串成一条链:先控制表示规模,再让质量随视距和预算变化,最后补上网格、材质和可重光照接口。

1. 压缩不只是把文件变小

一个高斯通常包含位置、协方差、透明度、球谐颜色等属性。压缩论文会从不同入口减少成本:量化参数、预测相邻高斯、利用哈希或上下文、剪枝贡献较小的 primitive,或把表示重组为更适合熵编码的结构。

  • Compact 3D Gaussian Representation 与 Compressed 3D Gaussian Splatting 代表参数量化、结构化编码和率失真权衡;文件大小下降并不自动意味着解码和随机访问便宜。
  • HAC 用哈希网格辅助上下文预测,说明压缩可以利用空间相关性,但需要额外的解码和访问模式。
  • PUP 3D-GS 以不确定性指导剪枝;Speedy-Splat 则从稀疏像素与稀疏 primitive 角度减少训练/渲染工作。剪掉的是低贡献或低置信度容量,不是“所有远处高斯”。
  • 动态场景还要压缩时间维:4DGC 将运动网格、补偿高斯、量化和熵模型放进率失真目标;Temporally Compressed 3DGS 需要同时观察码率、插值解码和快速运动误差。

因此评估时至少记录:每帧/每块字节数、解码时间、显存峰值、随机访问粒度、新视角质量,以及透明、镜面和细薄结构是否先坏掉。只报压缩比会掩盖运行时成本。

2. LOD 是渲染调度,不是单一简化算法

大场景中的高斯不能全部以同样精度参与每个像素。层次 3D 高斯、VastGaussian、CityGaussian 和 Octree-GS 分别从层次组织、城市级分块和八叉树 LOD 处理规模问题。它们共同提示一个工程原则:LOD 选择应围绕屏幕投影误差、可见性和流送预算,而不是只按世界空间距离删除点。

一个可落地的调度循环可以是:

  1. 用视锥、遮挡和屏幕覆盖估计候选块;
  2. 为块选择高/中/低密度高斯层级;
  3. 预取相邻块并保留低质量 fallback;
  4. 按帧时间和显存压力动态降级;
  5. 在切换时做滞后或渐变,避免 popping。

高斯的透明合成和深度排序使 LOD 还有一个特殊风险:删掉某些 primitive 可能改变前后层的透射关系,产生空洞、闪烁或边缘变暗。因此应把渲染结果的时间稳定性纳入指标,而不是只比较单帧 PSNR。

flowchart LR
  A["视锥/遮挡/屏幕误差"] --> B["选择空间块与 LOD"]
  B --> C["预取压缩数据"]
  C --> D["解码与投影"]
  D --> E["排序 + Alpha 合成"]
  E --> F["帧时间/显存反馈"]
  F --> B

图中反馈环表示 LOD 和流送必须与运行时预算联动;它不是一次离线简化后就永远固定的资产处理。

3. 从高斯到网格和材质

高斯能很好地表达捕获外观,却不天然保证水密表面、稳定法线、UV、碰撞或 PBR 参数。Gaussian Surfels 与 SuGaR 代表沿表面重建和网格提取的路线;GeoSplatting 等逆向渲染工作则尝试让几何、材质和光照分工更清楚。它们的价值不是证明“高斯已经等于网格”,而是提供从视觉代理走向可编辑资产的桥梁。

工程上应把接口拆开:高斯负责捕获场景的快速浏览或远景外观;网格负责碰撞、骨骼和编辑;法线、BRDF、入射光、可见性和曝光负责重光照。球谐颜色或神经颜色把捕获光照烘焙进外观时,直接替换光源会暴露材质—光照歧义。

4. 适合什么,不适合什么

适合:数字孪生浏览、实拍背景、远景代理、过场回放和需要快速展示的扫描场景。谨慎:近距离第一人称、强镜面/透明物体、需要碰撞和破坏的对象、频繁换灯光的关卡,以及需要长期稳定流送的开放世界。后几类往往需要网格、PBR、专用碰撞体和传统引擎资源系统共同工作。

  1. README
  2. 2024-kerbl-hierarchical-3d-gaussians
  3. 2024-lin-vastgaussian
  4. 2024-liu-citygaussian
  5. 2024-lee-compact-3d-gaussian-representation
  6. 2024-niedermayr-compressed-3d-gaussian-splatting
  7. 2024-chen-hac
  8. 2025-ren-octree-gs
  9. 2025-hanson-speedy-splat
  10. 2025-hanson-pup-3d-gs
  11. 2025-hu-4dgc
  12. 2025-javed-temporally-compressed-3dgs
  13. 2024-guedon-sugar-surface-aligned-gaussian-splatting
  14. 2025-ye-geosplatting

相关页面

图形学三维高斯泼溅3D Gaussian Splatting三维高斯泼溅 (3D Gaussian Splatting, 3DGS) 用一组带空间范围、透明度和视角相关外观的各向异性三维高斯,显式近似一个已捕获的静态场景。它从稀疏摄影测量点初始化,通过可微渲染优化高斯参数,再用 tile-based 的屏幕空间泼溅和深度排序 alpha 合成生成新视角;因此把 NeRF 的逐射线体采样换成了更接近 GPU 光栅化的数据流(Kerbl et al., 2023)。 3DGS 是一种高质量的场景表示和渲染方法,不自动提供水密网格、物理材质、光照重新求解或物理模拟。把它用于游戏运行时前,应把“新视角回放”和“可编辑、可碰撞、可重光照的资产”分开评估。图形学四维高斯泼溅4D Gaussian Splatting四维高斯泼溅 (4D Gaussian Splatting, 4DGS) 把三维高斯的空间外观扩展到时间维,用于从已捕获的多视图动态序列重建并实时渲染新视角。名称相同的论文可能采用完全不同的时间表示:Wu 等(CVPR 2024)使用固定的 3D Gaussians、4D neural voxels 和形变 MLP;Yang 等(arXiv:2412.20720)直接使用原生时空 4D primitives。学习时必须分开这两条路线。 4DGS 首先是动态场景的表示与回放技术,不自动成为动作条件世界模型、物理模拟器或长期未来预测器。它通常针对一个场景逐场景优化,在训练时间范围外的运动、拓扑变化图形学点云渲染Point Cloud Rendering点渲染用大量互不连接的三维点表示表面,每个点画成有半径的"溅射斑" (splat)。随着激光扫描、LIDAR、深度相机和摄影测量普及,点云数据可达数千亿点,因此几乎所有系统都用层次结构按预算加载和显示,并用不透明溅射、屏幕空间 AO 或眼罩光照 (EDL) 给无法线的点着色(RTR4 13.9 节)。图形学网格简化Mesh Simplification网格简化(数据缩减、抽取 decimation)在尽量保持外观的前提下减少三角形数,使应用能在低端机器上伸缩。核心操作是可逆的边折叠,用代价函数(典型是 Garland–Heckbert 的二次误差度量 QEM)排序;它产生的渐进网格可用于连续 LOD 与渐进传输,但自动化并非万能。图形学细节层次Level of Detail细节层次 (LOD) 在物体对图像贡献变小时改用更简单的表示。LOD 系统由三部分组成:生成(简化或手工制作多个版本)、选择(按距离、投影面积等收益函数挑选)、切换(尽量减少跳变 popping)。LOD 主要减少顶点处理,也通过减少 quad 过度着色降低像素开销;进一步还可在预算约束下全局选择 LOD,实现时间关键(恒定帧率)渲染。图形学大场景渲染与虚拟纹理Large Scenes & Virtual Texturing当场景数据远大于内存(如主机只有 8 GB,而游戏世界有数百 GB)时,需要按需把数据流送进内存。本页讲三类技术:虚拟纹理(把巨大的 mipmap 链切成瓦片,只让可见瓦片驻留在显存,通过页表/间接纹理寻址)、纹理转码(磁盘上用高压缩比的可变码率格式,加载时转成 GPU 块压缩格式),以及按平面瓦片组织资产的通用流送。这些方法几乎总是与剔除和 LOD 配合使用;地形部分见 地形渲染。综合可渲染世界模型与 4D 场景预测Renderable World Models & 4D Scene Forecasting世界模型 (world model) 学习环境状态随时间、观测和动作变化的规律;图形学中的“可渲染”表示则强调能从状态合成图像、深度或其他传感器观测。本页把几条容易混淆的路线放在同一张地图上:4DGS 主要重建/回放已捕获动态场景;GaussianWorld 主要预测流式 3D occupancy;DriveDreamer4D 用视频世界模型产生驾驶场景数据来辅助 4D 表示;GWM 则把动作条件未来预测与 Gaussian 表示用于机器人操作。本页选取 25 篇直接讨论世界模型或可渲染场景路线的核心资料,按“主要任务”互斥计数:视频/视觉交互预测 10 篇,驾驶 occupancy/4D 世

输入关键词开始搜索

滚轮或双指缩放 · 拖动平移 · 双击放大 / 还原