可渲染世界模型与 4D 场景预测

表示谱系

从状态到图像

可渲染路线通常把场景状态 $s_t$ 解码为高斯、网格或体素，再由相机 $c_t$ 生成观测：

$\hat{o}_t=R(s_t,c_t).$

4DGS 的重点是让 $s_t$ 在已观测时间段内重建得好；世界模型还要学习状态转移 $s_{t+1}=F(s_t,a_t,\epsilon_t)$，其中 $a_t$ 是动作、$\epsilon_t$ 表示不确定性。若模型只输出占据 $o_t^{occ}$，则不能从公式直接推出颜色、BRDF 或光照。

四条路线如何串起来

1. 4DGS：把捕获序列变成可回放表示

Wu 等的 4DGS 使用 3D 高斯、4D neural voxels 和形变 MLP；另一类原生 4D primitive 直接在时空体中拟合高斯。两者都能在查询时间后复用高斯泼溅管线生成新视角，但通常是每个场景优化，目标是重建与回放。详情见 四维高斯泼溅。

2. GaussianWorld：流式 occupancy 预测

GaussianWorld 将 Gaussian 表示用于流式 3D occupancy 预测，重点是从连续传感器输入维护空间占据和时序状态。它可以帮助自动驾驶系统理解“哪里有物体/可通行空间以及如何变化”，但 occupancy 并不自动包含可重光照的 RGB 外观、完整材质或自由视点渲染。把它用于渲染前，应明确还需要颜色、法线、光照和可见性等解码器。

3. DriveDreamer4D：世界模型作为数据机器

DriveDreamer4D 的核心思路是利用驾驶视频世界模型产生或扩充时序观测，再将其用于 4D driving scene representation。生成模型提供视觉时空先验，可以减少真实采集数据的覆盖缺口；但生成帧中的几何、交通参与者运动和相机轨迹仍需校验，不能把“生成了视频”解释为通过了物理仿真。

4. GWM：动作条件的机器人未来

GWM 面向机器人操作，把动作作为条件，预测未来的 Gaussian 场景/观测。相对于只按时间戳回放，动作条件让模型可以回答“执行这个动作后可能看到什么”；但对接触、遮挡、物体不可变性和长时误差的要求更高。规划系统还需要从视觉预测之外单独验证碰撞、抓取成功率和动作可执行性。

下图展示一种通用数据流，而不是声称所有论文实现完全相同：

flowchart LR
  A["多视图/视频/传感器序列"] --> B["时空状态编码"]
  C["动作 a_t"] --> D["状态转移或生成模型"]
  B --> D
  D --> E["未来状态：高斯、occupancy 或 latent"]
  E --> F["渲染器/传感器解码器"]
  F --> G["RGB、深度、occupancy 或观测"]
  G --> H["重建、预测和控制损失"]
  H --> B
  H --> D

如果 E 是 occupancy，F 可能只输出占据标签；如果 E 是高斯且带外观，F 才可能输出自由视点图像。图中不同输出必须按证据逐篇确认。

评估：四种一致性不能混为一谈

1. 视觉一致性：像素、感知特征、视频时间连续性和新视角质量。它回答“看起来像不像”。
2. 几何一致性：深度、表面、occupancy、跨视角遮挡和物体持久性。它回答“空间结构是否自洽”。
3. 动作可控性：给定转向、加速、抓取或移动动作时，未来状态是否按条件变化，且多次采样的不确定性是否合理。
4. 物理/任务一致性：碰撞、接触、摩擦、动力学约束、可通行性和任务成功率。它回答“能否用于闭环行动”。

渲染方程和 PBR 解决的是给定几何、材质、光照时如何生成辐射亮度，见 渲染方程；世界模型解决的是状态如何随时间和动作变化。前者不能替代后者，后者也不保证已经分解出物理材质。

应用与工程取舍

• 自动驾驶传感器仿真：occupancy 适合规划和感知，Gaussian/4D 表示适合视觉传感器回放；若要做真实重光照或改变天气，需要额外的材质、光照和可见性模型。
• 机器人操作：动作条件 Gaussian 预测可作为策略的视觉想象或候选评估；高风险动作仍应结合真实反馈、碰撞检测和不确定性门控。
• 游戏和虚拟世界编辑：4DGS 可作为捕获背景、过场或远景代理；可交互角色、物理对象和可重光照资产仍优先采用网格、骨骼、PBR 材质和专用模拟。
• 数据扩增：生成视频能覆盖罕见交通/动作组合，但应做相机位姿、深度/occupancy、运动轨迹和遮挡检查，并保留合成数据标签，避免把伪影学进下游模型。
• 流式大场景：状态应按空间块、时间窗口和观测置信度流送；高斯数量、占据分辨率、网络延迟和缓存容量共同决定实时性，不能只看单一 FPS。

常见失败模式

• 短期好看、长期漂移：生成模型反复滚动会累积误差；远期车辆、手和被抓物体可能改变形状或身份。
• 占据当颜色：occupancy 能表示占用位置，却没有足够信息恢复反射率、粗糙度、光源和高光。
• 回放当预测：4DGS 在训练时间内插值顺滑，不说明它能对未见动作作因果预测。
• 视觉接触不等于物理接触：两物体在图像中贴合，三维位置、法线、摩擦或穿透仍可能错误。
• 生成数据当真值：世界模型生成的帧需要独立的几何、运动和任务验证；论文中的数据集指标不等于引擎中的物理正确率。