四维高斯泼溅

路线 A：3D 高斯加时空形变（Wu et al.）

该路线保留一组 canonical 3D Gaussians，把时间输入 4D neural voxels（采用分解式时空编码）得到的特征送入轻量 MLP。MLP 在给定 timestamp 预测高斯的位置、尺度、旋转、不透明度或其他属性变化，再交给 3DGS 的投影、排序和 alpha 合成器渲染。训练损失由多视图、多时间的图像重建监督形变与外观。

优点是可以复用成熟的 3DGS 渲染器，并用共享 canonical 高斯避免为每一帧独立存一套场景；缺点是时间体素、形变网络和高斯仍需为每个场景优化。剧烈非刚体运动、长时间序列和拓扑改变可能超出形变场的容量。Wu 等在论文硬件/分辨率设置下报告了实时帧率，但该数字不是所有引擎的保证。

路线 B：原生 4D primitives（Yang et al.）

Yang 等把动态场景看作时空四维体，直接用原生 4D Gaussian primitive 同时表达空间、时间和外观，并构造可微泼溅管线。其 primitive 具有时空各向异性，时间变化的外观可用 Spherindrical Harmonics 表示；论文还讨论减少 4D 参数和高斯数量的紧凑变体。

这条路线不把运动强行分解成“canonical 几何 + 形变”，表达形式更直接，但 4D primitive 的容量和存储可能快速增长。它同样依赖训练数据覆盖，原生 4D 并不意味着对训练时间之外的物理轨迹有可靠预测。

论文地图：从时空表示到可部署动态视频

下面按“先理解时空表示，再比较紧凑化、流式与复杂运动，最后看生成式轨迹扩充”的依赖关系整理当前 raw/papers/ 中与 4DGS 直接相关的资料。这里的“相关”是阅读索引，不等于每篇方法都能直接替代游戏引擎资产或物理模拟。

1. 先建立动态场基线：4D 特征与高斯时空表示

• 动态场的分解基线：2023-cao-hexplane、2023-shao-tensor4d、2024-lin-cednerf。它们以显式特征平面、张量或紧凑网格支撑动态 NeRF，可帮助理解 4DGS 为什么要在空间—时间之间做共享与分解。
• 原生 4D/时空高斯：2024-wu-4d-gaussian-splatting、2024-yang-native-4d-gaussian-splatting、2024-li-spacetime-gaussian-feature-splatting。分别对照“canonical 3D + 形变”“原生 4D primitive”“单高斯携带时空属性”三种表达。
• 显式高斯形变与轨迹：2024-yang-deformable-3d-gaussians、2024-lin-gaussian-flow。前者关注单目规范高斯与形变场，后者把时间变化参数化到时域/频域；都不应被解读为物理运动模型。

2. 结构化表示、内存与率失真

• 锚点与共享生成：2024-cho-4d-scaffold-gs，用 4D 锚点和共享 MLP 生成局部高斯；论文报告的压缩结果绑定数据集和设置。
• 内存高效的属性/基元约束：2025-zhang-mega，从颜色属性分解、熵约束形变、半精度和 ZIP 等方面减少占用。
• 联合码率的动态压缩：2025-hu-4dgc，将运动网格、补偿高斯、可微量化和熵模型纳入率失真训练。
• 时序剪枝、混合精度与轨迹简化：2025-javed-temporally-compressed-3dgs。阅读时同时记录码率、解码插值开销和高速运动误差，不要只比较文件大小。

3. 复杂运动、流式更新与传感器

• 全局—局部运动与连续轨迹：2025-kwak-modec-gs、2025-park-splinegs。前者分层表达全局/局部运动并调整时间区间，后者以运动自适应样条和控制点裁剪处理单目流。
• 流式重建与关键帧纠错：2025-yan-instant-gaussian-stream。其低延迟和跨域泛化依赖训练数据、硬件及关键帧间隔，不能当成通用实时保证。
• 连续运动流与自监督驾驶：2025-sun-splatflow。它结合 LiDAR、3D/4D 高斯和基础模型特征，仍是观测驱动重建，不等同于物理世界模型。
• 高动态事件观测：2025-xu-event-boosted-deformable-3d-gaussians、2025-zhou-std-gs。事件流可补充时间约束，但带来同步、标定、阈值和噪声成本。
• 表面跟踪与拓扑变化：2025-zheng-gaustar。网格面与高斯绑定可增强表面跟踪，但实验中的拓扑处理不应直接等同于任意遮挡下的完美几何恢复。

4. 生成式数据扩充与应用边界

• 新轨迹训练数据：2025-zhao-drivedreamer4d 用视频世界模型生成“表亲”轨迹数据再训练 4DGS，主要改善观测分布外的驾驶轨迹；其合成视频有伪影和深度监督不完整风险，不能把它当作通用物理模拟器。

共同渲染流程

flowchart LR
  A["多视图动态序列 + 相机位姿"] --> B["时空高斯表示"]
  B --> C["查询时间 t 的空间与外观状态"]
  C --> D["投影到屏幕 tile"]
  D --> E["深度排序 + Alpha 合成"]
  E --> F["时间 t 的新视角"]
  F --> G["光度/时空一致性损失"]
  G --> B

图中的共同部分是：给定时间先得到该时刻的高斯集合或状态，再复用屏幕空间泼溅；差别在于“时空高斯表示”如何生成。与视频插帧不同，4DGS 的目标是带相机视角变化的动态场景渲染。

学习顺序与工程检查点

1. 先读 HexPlane、Tensor4D 和 Ced-NeRF，理解动态 NeRF 的时空分解、容量共享和体渲染基线；再读 Wu、Yang Native 4DGS 与 STG，对照形变场、原生时空基元和时空特征解码。
2. 接着读 Deformable 3D Gaussians 与 Gaussian-Flow，明确规范空间、显式轨迹、时间/频率基函数的表达边界；检查单目深度、位姿误差、拓扑变化和训练时间外推。
3. 需要降低显存和带宽时，按 4D Scaffold → MEGA → 4DGC → TC3DGS 阅读，分别记录共享锚点、属性/基元稀疏化、率失真目标、量化与轨迹插值的代价；压缩比例必须连同码率、解码时间和质量指标复核。
4. 需要复杂运动或流式输入时，读 MoDec-GS、SplineGS、Instant Gaussian Stream，再读 SplatFlow；将单帧延迟、关键帧校正、跨域泛化、运动分解和长期漂移分开测量。
5. 需要高动态采集时，读 Event-boosted Deformable 3D Gaussians 与 STD-GS，评估事件阈值、同步、标定和噪声，而不是把事件信号当作免费时间监督；需要表面接口时再读 GauSTAR，单独验证网格、跟踪和拓扑变化。
6. 最后读 DriveDreamer4D，理解“世界模型生成数据 → 4DGS 表示”的应用路线；其新轨迹 FID 或 IoU 结果不能替代真实轨迹的几何、材质、碰撞和物理验证。
7. 对任何动态重光照需求，回到 基于物理的着色、双向反射分布函数 和 3DGS 页的神经 PBR索引；4DGS 的时间表示本身不提供法线、BRDF、入射光或可验证的光照分解。

与世界模型的边界

动作条件 Gaussian world model 需要另外学习动作、状态转移和未来不确定性；occupancy world model 也可能只预测占据，而不是 RGB 自由视点渲染。综合对照见 可渲染世界模型与 4D 场景预测。

应用与取舍

• 动态新视角与回放：影视、体育、数字孪生和游戏过场可以在捕获动作后自由选择视角；适合回放，不等价于实时生成未捕获动作。
• VR/AR 和远程浏览：高斯的显式投影适合并行渲染，但动态高斯需要时间查询、流送和缓存，移动端性能要单独测量。
• 引擎混合：可将 4DGS 作为背景/特效代理，角色控制、碰撞和交互仍由骨骼、网格或物理系统承担。
• 容量管理：形变共享减少逐帧重复，但时间体素、MLP 或原生 4D 参数仍占用显存；压缩、分段、LOD 和时间窗口是工程取舍。

常见限制

1. 每场景优化和相机/多视图质量依赖明显；位姿错误会被时间模型吸收为错误运动。
2. 训练时间之外的外推容易漂移；周期、突然出现/消失、拓扑改变和遮挡后重新出现尤其困难。
3. 高斯几何可能有厚度、漂浮和重叠，不能直接替代碰撞网格、骨骼绑定或可编辑资产。
4. 视角相关颜色可能把捕获光照烘焙进外观；要重光照需额外的法线、BRDF、入射光和可见性表示。
5. “82 FPS”等论文数字绑定硬件、分辨率和场景规模；部署时应以毫秒帧时间、显存和高斯数量重新测量。