MultiFoley是一款由Adobe Research和密歇根大学联合开发的音效生成系统，能够通过多模态的文本、音频和视频输入，生成高质量的Foley声音效果。该系统允许用户根据文本提示、参考音频或部分视频内容定制并生成与视频内容完美同步的声音，从而显著提升视频的观看体验。

MultiFoley是什么

MultiFoley是Adobe Research与密歇根大学共同推出的创新音效生成系统，旨在通过多模态控制生成Foley声音效果。该系统使用户可以根据文本提示、参考音频或视频片段，定制与视频同步的声音，从而增强视频的整体体验。MultiFoley通过联合训练互联网视频数据集与专业声音效果录音，能够生成高质量、全频带（48kHz）的音频，提供灵活的声音设计功能，帮助用户打造既清晰又富有创意的音效。

MultiFoley的主要功能

• 文本驱动的Foley生成：通过文本提示引导生成与视频画面同步的声音效果，包括现实和创意声音。
• 音频驱动的Foley生成：允许用户从声音效果库中选择参考音频，将其应用到无声视频中并与之同步。
• Foley音频扩展：扩展部分音频轨道，以生成完整的Foley声音效果。
• 质量控制：通过在文本中添加质量标签，确保生成高质量的全频带（48kHz）音频。
• 多模态控制：综合文本、音频和视频的条件信号，提供精细的声音设计控制。

MultiFoley的技术原理

• 联合训练：基于互联网视频数据集（低质量音频）和专业声音效果录音进行训练，以生成高质量的全频带音频。
• 扩散变换器（Diffusion Transformer）：利用扩散模型从随机噪声生成新样本，适用于视频引导的Foley声音生成，并结合多模态控制。
• 高质量音频自编码器（DAC-VAE）：基于变分自编码器（VAE），将48kHz的音频波形编码为40Hz的潜在特征，以实现音频与视频的同步。
• 冻结视频编码器：用于音频与视频同步，将视频编码为特征并与音频潜在编码结合使用。
• 多条件训练策略：使模型灵活支持多种下游任务，如音频扩展和文本驱动的声音设计。
• 多头注意力机制：提升模型的表达能力，并行学习不同类型的特征或依赖关系。

MultiFoley的项目地址

• 项目官网：ificl.github.io/MultiFoley
• arXiv技术论文：https://arxiv.org/pdf/2411.17698

MultiFoley的应用场景

• 电影和视频制作：在电影制作中生成与画面动作同步的声音效果，如脚步声、关门声等，提升观众的沉浸感。
• 游戏开发：为不同的游戏场景和动作生成逼真的声音，增强游戏体验。
• 动画制作：在动画中，根据角色的动作生成相应的声音，使动画更加生动。
• 广告制作：在广告行业中，依据创意生成吸引注意的声音效果，提高广告的吸引力。
• 虚拟现实（VR）：在虚拟现实体验中生成与虚拟环境同步的声音，提升用户的沉浸感和体验质量。

常见问题

• MultiFoley支持哪些输入格式？MultiFoley支持文本、音频和视频作为输入，以便用户灵活创建声音效果。
• 生成的音频质量如何？MultiFoley生成的音频为高质量全频带（48kHz），确保声音效果清晰悦耳。
• 我能否自定义生成的声音？是的，用户可以通过文本提示和参考音频进行个性化定制，生成所需的声音效果。
• MultiFoley适用于哪些领域？MultiFoley广泛应用于电影、游戏、动画、广告和虚拟现实等多个领域。
• 如何访问MultiFoley？用户可以通过访问项目官网了解更多信息和使用方法。