Motion Prompting是一种由Google DeepMind、密歇根大学和布朗大学联合开发的视频生成技术。该技术基于运动轨迹的控制，能够灵活地指导视频内容的生成。用户可以通过设计“运动提示”，类似于文本提示，激发视频模型的多种能力，包括对对象的控制、相机的调节以及物理现象的模拟，从而显著提升视频生成的灵活性和准确性。

Motion Prompting是什么

Motion Prompting是一项先进的视频生成技术，由Google DeepMind、密歇根大学及布朗大学共同推出。该技术利用运动轨迹（motion trajectories）来控制和引导视频内容的生成。通过点轨迹作为运动的表示方式，Motion Prompting能够编码从单一运动到复杂场景的多种运动形式。用户可以设计“运动提示”，通过这些提示激发视频模型的多种功能，如对象和相机控制、物理现象的模拟等。这项技术为未来的交互式视频生成和世界模型查询开辟了新的可能性。

Motion Prompting的主要功能

• 对象控制：用户可以通过运动提示精确控制视频中具体对象的运动，例如旋转或移动。
• 相机控制：实现视频中相机的动态调节，包括平移、旋转及变焦等操作。
• 物理现象模拟：展示视频中各种物理现象，如流体动力学（水流、烟雾）和刚体动力学。
• 同时对象和相机控制：结合对象和相机控制的运动提示，创造复杂的场景交互效果。
• 拖动式图像编辑：支持用户通过拖动操作编辑动态图像，增强编辑的直观性。
• 运动转移：将一个视频中的运动转移至另一个视频的第一帧，实现运动的再利用。
• 运动放大：放大视频中的微小运动，使其更为显著。

Motion Prompting的技术原理

• 点轨迹表示：采用点轨迹（point trajectories）作为运动的表示方式，捕捉视频中任意数量点的运动，包括对象特定动作或全局场景的动态。
• 条件视频生成模型：在预训练的视频扩散模型基础上，开发一个控制网络（ControlNet），可接受运动提示作为条件输入。
• 运动提示构建：将用户输入（如鼠标拖动）转换为点轨迹，或利用计算机视觉技术根据高级用户请求生成详细的运动轨迹。
• 轨迹编码：将点轨迹编码为空间-时间体积（space-time volume），在每个轨迹访问的位置放置一个独特的嵌入向量。
• 模型训练：使用从视频中提取的轨迹数据训练模型，根据轨迹提示生成对应视频。
• 轨迹稀疏度调整：用户可以调整轨迹的稀疏程度，以平衡控制的精细度与视频模型的自由度。
• 多任务处理：通过结合不同的运动提示，在单一模型中实现多种复杂的视频生成任务。

Motion Prompting的项目地址

• 项目官网：motion-prompting.github.io
• arXiv技术论文：https://arxiv.org/pdf/2412.02700

Motion Prompting的应用场景

• 电影和视频制作：导演和视频制作人可以借助该技术创造复杂的动态场景，如特效镜头和动作序列，而无需繁琐的手动动画。
• 游戏开发：游戏开发者能够生成动态背景视频，或为游戏内角色和环境创造生动的互动效果。
• 虚拟现实（VR）和增强现实（AR）：在VR和AR应用中，创造更自然和真实的虚拟环境及互动体验。
• 交互式媒体艺术：艺术家能够创作出新的交互式艺术作品，观众可以通过身体动作与艺术作品进行互动。
• 教育和培训：通过模拟真实世界的物理现象和动态场景，应用于教育领域，如物理、工程和医学培训。

常见问题

• Motion Prompting的使用难度如何？：Motion Prompting的设计旨在用户友好，用户可以通过简单的操作来创建和编辑运动提示。
• 对设备有什么要求吗？：该技术对计算设备的要求较高，建议使用性能较强的计算机进行操作。
• 是否支持多种视频格式？：Motion Prompting支持多种主流视频格式，以便用户方便地进行视频生成和编辑。