图形学 · GraphicsNote

三维高斯泼溅

3D Gaussian Splatting

更新于 2026-10-28 约 13 分钟3DGS 高斯泼溅点基渲染新视角合成辐射场实时渲染可泛化重建 PBR

三维高斯泼溅 (3D Gaussian Splatting, 3DGS) 用一组带空间范围、透明度和视角相关外观的各向异性三维高斯，显式近似一个已捕获的静态场景。它从稀疏摄影测量点初始化，通过可微渲染优化高斯参数，再用 tile-based 的屏幕空间泼溅和深度排序 alpha 合成生成新视角；因此把 NeRF 的逐射线体采样换成了更接近 GPU 光栅化的数据流（Kerbl et al., 2023）。

3DGS 是一种高质量的场景表示和渲染方法，不自动提供水密网格、物理材质、光照重新求解或物理模拟。把它用于游戏运行时前，应把“新视角回放”和“可编辑、可碰撞、可重光照的资产”分开评估。

表示：一个可学习的带状点

每个高斯以中心 $\boldsymbol\mu$ 和协方差 $\boldsymbol\Sigma$ 定义空间核：

G(\mathbf{x})=\exp\left(-\frac12(\mathbf{x}-\boldsymbol\mu)^T\boldsymbol\Sigma^{-1}(\mathbf{x}-\boldsymbol\mu)\right).

实际参数通常把协方差分解为旋转 $R$ 与非负尺度 $S$ ，即 $\boldsymbol\Sigma=RSS^TR^T$ ，从而在梯度优化中保持协方差合法。每个 primitive 还保存不透明度 $\alpha$ ，以及用球谐 (Spherical Harmonics, SH) 表示的视角相关颜色。各向异性尺度让一个高斯沿表面切向展开、沿法线变窄，比固定半径的圆点更能适应表面形状和投影。

这与传统点云的差别是：传统点通常只是位置、颜色和可选法线；3DGS 的高斯把“点的空间覆盖范围”和可学习的辐射外观一起优化。它仍不是显式三角网格，单个高斯也不保证对应一个物理表面点。

从捕获到图像的流程

初始化：用多视图图像和相机位姿做 SfM，得到稀疏点；每个点初始化一个高斯及其颜色/透明度。
可微渲染：将三维高斯投影到相机平面，得到椭圆核和屏幕空间覆盖范围；按屏幕 tile 分桶，并在 tile 内按深度排序。
优化：对训练视角渲染颜色与目标图像比较，反向传播更新位置、旋转、尺度、透明度和 SH 系数。光度误差驱动的是“在训练视角下看起来正确”，不是直接的几何测量。
自适应密度控制：对投影过小或梯度不足的区域 prune；对需要更多容量的区域 clone 或 split。周期性密度控制在质量、高斯数量和显存之间折中。
运行时合成：对每个像素，把按深度排序的高斯贡献进行前到后 alpha 合成。对单个高斯的近似形式可写为 $C=\sum_i T_i\alpha_i c_i,\qquad T_i=\prod_{j<i}(1-\alpha_j),$ 其中 $c_i$ 是该高斯在当前视线方向的颜色。

下图把离线建场景和运行时渲染分开：前者可以迭代优化表示，后者只需投影、排序、合成。

flowchart LR
  A["多视图图像 + 相机位姿"] --> B["SfM 稀疏点初始化"]
  B --> C["各向异性 3D 高斯"]
  C --> D["投影到屏幕 tile"]
  D --> E["深度排序 + Alpha 合成"]
  E --> F["新视角图像"]
  F --> G["与训练图像比较并反向传播"]
  G --> H["优化参数与 clone/split/prune"]
  H --> C

图中回路表示逐场景优化；部署时通常固定高斯集合，反复执行右侧的投影和合成。

与相关表示的对照

表示	优势	代价与边界
三角网格 + 材质	几何、碰撞、骨骼和编辑工具成熟；可接入 PBR	捕获真实外观需要重建网格、UV、材质和光照；细碎几何会增加资产成本
传统点云/surfel	结构直观，扫描数据容易保留	固定半径和稀疏空洞难处理；视角相关外观、可微优化和遮挡表达有限，见点云渲染
NeRF 等隐式神经场	连续体表示，能用网络表达复杂外观	逐射线查询和体采样推理成本高；训练后不易作为普通 GPU 几何资产，见可微渲染与神经渲染
3DGS	显式高斯可并行投影，训练后新视角渲染快；空间覆盖和外观都可优化	高斯数量导致显存/存储压力；不天然给出干净网格、碰撞、物理 BRDF 或光照分离

3DGS 的“可实时”是论文实验条件下的渲染结果，不能脱离分辨率、GPU、视锥内高斯数量和排序实现直接换算成游戏帧率。高斯仍需剔除、分页或分块，且半透明合成可能引入排序和过度绘制成本。

应用与工程取舍

数字孪生与新视角回放：建筑、扫描场景、影视布景或游戏背景可以从相机采集快速生成自由视角浏览；这适合视觉展示，不等于可任意改变时间、光照和几何。
实时资产预览与 VR：显式高斯适合 GPU 并行的投影/合成管线；应配合视锥剔除、层次 LOD、流送和抗锯齿。近处放大时高斯数量和排序会成为瓶颈。
混合渲染：角色、碰撞体、UI 和可交互物体继续使用网格；静态背景用 3DGS 作为视觉代理。这样能保留传统引擎的物理和材质系统，但需处理深度、透明和阴影的接口。
编辑与重光照：SH 颜色可能把捕获时的光照和高光烘焙进外观。要做 PBR 编辑，应额外估计法线、BRDF、入射光和可见性；直接把 SH 当作材质会产生材质-光照歧义，相关路线见基于物理的着色和可渲染世界模型与 4D 场景预测。

论文地图：从基础表示到可重光照资产

下面按“先理解表示，再处理几何/规模，最后进入生成、编辑和物理外观”的依赖关系整理当前 raw/papers/ 中与 3DGS 直接相关的论文。论文是原始资料索引，不代表每种方法都能直接替代游戏资产管线。

这些论文只说明“在给定数据和假设下尝试把几何、材质、光照分开”，不意味着 3DGS 的 SH 或神经颜色自动就是 PBR 材质。若要接入可重光照资产，应回到基于物理的着色与双向反射分布函数，检查法线、BRDF、入射光、可见性、曝光和镜面反射是否分别有可验证表示；训练视角内图像质量不能替代新光源、新视角和材质编辑验证。

学习顺序与工程检查点

先读 Kerbl 基础论文，再读 StopThePop、Mip-Splatting 和 Scaffold-GS，掌握投影、排序、抗混叠、密度控制与视角相关外观。
接着读 Gaussian Surfels、SuGaR 和层次/城市级论文，明确高斯的几何边界、网格接口、LOD、流送和显存成本。
再读 PixelSplat、MVSGaussian、COLMAP-Free、SelfSplat 与 GaussianObject，区分逐场景优化、前馈泛化、姿态估计和稀疏视图生成；最后读 Generative Densification 理解学习式细节补偿的幻觉风险。
需要内容生产或语义编辑时，按 DreamGaussian/LGM → GaussianDreamer/MVGamba → Gaussian Grouping/LangSplat → 两篇 GaussianEditor 阅读，先掌握生成，再评估可控编辑和语义一致性。
需要游戏角色时，按 HUGS/3DGS-Avatar/GaussianAvatars → SplattingAvatar → Relightable Codec Avatars 阅读，验证绑定、表情、拓扑、阴影和运行时接口，而不是只看单视角质量。
最后读 GS-IR、Relightable 3D Gaussians、GS³、GaussianShader、OLAT Gaussians，再读 GS-ID/RNG/SVG-IR/GeoSplatting/RelitLRM/LIRM。只有在法线、BRDF、入射光、遮挡和曝光分解均有证据时，才把“可重光照”写进资产规格；SH 或神经颜色本身不等于材质。
每篇论文都应按训练视图覆盖、动态/透明/镜面边界、模型大小、毫秒帧时间和硬件条件复核；论文中的 FPS、压缩比和重光照质量不能直接当作引擎保证。

常见限制

输入依赖：多视图覆盖、相机位姿和曝光一致性影响优化；未观测区域不会凭空恢复可靠几何。
几何不保证：高斯可以重叠、漂浮或穿插，深度图可能有厚度和边缘伪影；若需要网格、碰撞或骨骼，必须增加表面重建和人工检查。
外观外推：球谐和训练视角能拟合视角相关颜色，但极端新视角、反射表面、透明物体和细薄结构容易失真。
资源成本：densification 提高质量也会增加高斯数量、排序、带宽和显存；压缩、LOD 和块流送是运行时工程问题。
静态假设：基础 3DGS 主要针对静态场景。动态内容应选择明确的时间表示，例如四维高斯泼溅，不要把每一帧独立建模误称为同一个静态 3DGS。

出处 · Sources

被这些页面引用1 篇

综合高斯表示的工程化：压缩、LOD 与可编辑资产Engineering Gaussian Representations

三维高斯泼溅

表示：一个可学习的带状点

从捕获到图像的流程

与相关表示的对照

应用与工程取舍

论文地图：从基础表示到可重光照资产

1. 基础管线、抗混叠与光栅化

2. 几何、表面与大规模部署

3. 可泛化、稀疏视图与生成式建场

4. 语义、分割与可编辑高斯

5. 人体、头像与可动画混合表示

6. 神经 PBR、逆向渲染与可重光照

学习顺序与工程检查点

常见限制

出处 · Sources

相关页面

被这些页面引用1 篇

探索