全新的图像编辑与生成范式。

原标题：UniReal登场：用视频架构统一图像生成与编辑，还学到真实世界动态变化规律
文章来源：机器之心
内容字数：6122字

UniReal: 一种全新的图像生成与编辑范式

本文介绍了香港大学与Adobe联合提出的UniReal，一个创新的图像编辑与生成框架。该方法通过将多种图像任务转换为视频生成任务，利用大规模真实视频数据学习多种变化规律，从而实现高保真的生成效果。

1. 研究背景与目标

UniReal旨在统一图像生成与编辑任务，满足不同输入输出图像的多样性需求。视频生成任务的特点与图像编辑的核心需求相契合，使得UniReal能够有效建模图像变化，提升生成质量。

2. 方法概述

UniReal借鉴了Sora视频生成架构，将不同的图像任务视为视频帧处理。通过VAE编码和Transformer处理，模型能够高效融合视觉和文本信息，实现跨模态理解。此外，层级化提示设计（Hierarchical Prompt）帮助模型更好地整合不同任务的数据，提高生成和编辑能力。

3. 数据构造策略

UniReal基于原始视频数据构建大规模训练集，采用多层次的数据构造策略，包括编辑数据生成、多目标定制化生成及可控生成与图像理解标注。这些策略确保模型能够学习真实世界中的动态变化，从而支持复杂的生成与理解任务。

4. 实验效果与对比

在多个实验中，UniReal展现了卓越的性能，尤其是在指令编辑、定制化生成和物体插入任务中。与现有方法相比，UniReal能更好地保持背景一致性、准确模拟物体状态，并生成高质量的结果。

5. 未来展望

尽管UniReal在多个任务中展现出强大潜力，但训练与推理效率仍是未来需要解决的挑战。研究团队计划探索更高效的注意力结构，以提升处理速度和降低计算成本，进一步推动模型在视频生成与编辑任务中的应用。

综上所述，UniReal通过创新的框架和数据构造策略，为图像生成与编辑领域带来了新的可能性，展现出良好的泛化能力和应用前景。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台