扩散模型测试时计算Scaling Law的突破性研究
来自纽约大学、麻省理工学院和谷歌的顶尖研究团队，在扩散模型（DM）的测试时计算Scaling Law方面取得了突破性进展。该研究由谢赛宁教授团队参与，其成果引发了广泛关注。
1. 研究背景： 大模型的测试时计算Scaling Law是当前AI领域的研究热点，OpenAI的成果o3已证明其有效性。然而，扩散模型在推理阶段增加去噪步骤后，性能提升往往会很快遇到瓶颈，限制了其Scaling能力。
2. 创新方法：该研究将推理时Scaling重新定义为对采样噪声的搜索问题。研究人员提出了一种创新的搜索框架，包含两个核心要素：验证器和算法。
a. 验证器： 预训练模型，用于评估噪声候选项的质量，提供反馈。研究中使用了三种类型的验证器：预言验证器（Oracle Verifier）、监督验证器（Supervised Verifier）和自监督验证器（Self-Supervised Verifier）。
b. 算法： 基于验证器反馈，寻找更优噪声候选项的函数。研究中使用了随机搜索、零阶搜索和路径搜索三种算法。
3. 实验结果： 研究人员在ImageNet和DrawBench等数据集上进行了实验，结果表明，该搜索框架能够显著提升扩散模型的生成性能，超越了仅仅增加去噪步骤的效果。不同验证器和算法的组合展现出不同的Scaling特性，没有单一最优配置，需要根据具体任务选择合适的设置。
4. 小模型的优势： 研究还发现，通过测试时计算Scaling，较小的扩散模型也能在有限的推理预算下取得优于更大模型的性能。这表明，大量的训练成本可以通过适度的推理时计算来部分抵消，从而更有效地获得高质量样本。
5. 主要贡献：
a. 提出了一个用于扩散模型推理时Scaling的基础框架。
b. 确定了搜索框架中的两个关键设计轴：验证器和算法。
c. 对验证器与不同生成任务之间的对齐进行了广泛分析。
6. 未来展望： 谢赛宁教授认为，2025年扩散模型的发展方向是“要么（非常）小，要么（非常）大”，该研究为这两个方向都提供了新的可能性。
7. 团队成员： 共同一作Willis(Nanye) Ma是谢赛宁教授的博士生，也是谷歌的学生研究员；另一位共同一作Shangyuan Tong是麻省理工学院CSAIL的博士生。
总而言之，这项研究为扩散模型的测试时计算Scaling Law开辟了新的方向，为高效生成高质量样本提供了新的途径，具有重要的理论和实践意义。
联系作者
文章来源：新智元
作者微信：
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，领航中国新智能时代。