AI如何掌握物理世界，通向世界模型
原标题：全面梳理200+篇前沿论文，视觉生成模型理解物理世界规律的通关密码，都在这篇综述里了！
文章来源：机器之心
内容字数：4516字
生成式“物理AI”综述：赋予视觉生成模型物理规律
机器之心AIxiv专栏报道了悉尼大学、西澳大学等机构发表的综述论文《Generative Physical AI in Vision: A Survey》，深入探讨如何将物理规律融入视觉生成模型，以提升其对真实世界的刻画能力。该论文定义了生成式“物理AI”的核心概念，并对现有方法进行了全面的梳理和总结。
1. 生成式“物理AI”的核心概念
论文首先明确了几个关键概念：物理模拟（依据物理模型让数据随时间演变）、物理理解（从数据推断物理模型或参数）、生成（用生成模型创造新内容）。根据是否理解物理规律，生成分为无物理感知生成和物理感知生成。后者又细分为基于显式物理模拟（PAG-E）和无显式物理模拟（PAG-I）两类。
2. 基于显式物理模拟的生成 (PAG-E)：六大范式
PAG-E根据“物理模拟”与“生成模型”的融合方式，被归纳为六大范式：
- 生成后模拟 (Gen-to-Sim): 先生成内容，再添加物理属性使其可模拟和交互，例如PIE-NeRF和PhysGaussian。
- 生成中模拟 (Sim-in-Gen): 将物理模拟直接集成到生成模型中，例如PhysGen和PhyCAGE。
- 生成与模拟并行 (Gen-and-Sim): 生成和模拟同时进行或紧密关联，例如PAC-NeRF和iPAC-NeRF。
- 模拟约束生成 (Sim-Constrained Gen): 物理模拟为生成模型提供训练约束或指导，例如PhysComp、Atlas3D和DiffuseBot。
- 生成约束模拟 (Gen-Constrained Sim): 生成模型为模拟过程提供指导或先验知识，例如Physics3D和DreamPhysics。
- 模拟评估生成 (Sim-Evaluated Gen): 生成内容旨在用于基于模拟的部署，例如PhysPart和PhyScene。
3. 无显式物理模拟的生成 (PAG-I)
PAG-I指一些无需显式物理模拟，也能展现一定物理推理能力的模型。例如，PhyT2V利用大语言模型提升文生视频模型的物理真实性；Generative Interactive Dynamics模拟物体受外力影响的变化；Motion Prompting利用轨迹控制视频生成；CoCoGen在采样过程中注入物理信息。
4. 物理评估：衡量模型的物理“实力”
论文分析了评估图像或视频生成模型物理刻画能力的方法。传统指标不足，因此研究者提出了专门的数据集和指标，例如PhyBench、PhyGenBench和VideoPhy，以及人工评估和自动评估（例如利用视觉语言模型LVMs）。
5. 未来展望
论文展望了生成式“物理AI”的未来方向，包括改进评估方式、提升可解释性、物理知识增强的大模型、神经-符号混合模型、生成式模拟引擎以及跨学科应用等。
更多相关研究成果可访问https://github.com/BestJunYu/Awesome-Physics-aware-Generation。
联系作者
文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台