Ingredients – 多ID照片定制视频生成框架，基于多ID照片与视频扩散相结合

XX是什么

Ingredients是一个创新的框架，结合了多种特定身份（ID）照片与视频扩散Transformer技术，旨在实现个性化视频创作。该框架通过三个核心模块的协同作用，提供高度定制化的视频生成体验：面部特征提取器、多尺度特征投影器和身份路由器。面部特征提取器从全局和局部角度捕捉每个身份的面部特征；多尺度特征投影器将这些特征嵌入到视频扩散模型的上下文中；身份路由器则负责在视频生成过程中动态分配和组合不同身份的特征，确保在不同时间和空间区域内的准确表现。Ingredients通过精心设计的多阶段训练机制，能够在无需提示限制的情况下，生成具有高度身份保真度和内容灵活性的视频。

主要功能

• 身份一致性维护：在生成的视频中，确保多张参考图像中的人物身份保持一致。
• 内容灵活控制：用户可以通过文本提示精确调整视频内容。
• 高质量视频生成：制作出视觉质量高、过渡自然的视频内容。
• 无需训练定制化：无需对每个新身份进行模型训练或微调，实现个性化视频生成。

产品官网

• GitHub仓库：https://github.com/feizc/Ingredients
• HuggingFace模型库：https://huggingface.co/feizhengcong/Ingredients
• arXiv技术论文：https://arxiv.org/pdf/2501.01790

应用场景

• 娱乐创作：为虚拟偶像制作多场景音乐视频，确保其面部特征和风格的一致性，增强与粉丝的互动。
• 广告行业：为时尚品牌定制多种风格的广告，展示目标受众在不同场景中的时尚造型，提高品牌吸引力。
• 教育教学：在语言学习应用中，创建国际会议场景视频，帮助学习者观察不同国家代表的交流，提升商务英语和跨文化沟通能力。
• 社交媒体：用户可制作家族历史视频，通过老照片和口述故事，展示家族成员在不同年代的生活场景，引发共鸣并分享至社交媒体。
• 虚拟现实：在虚拟现实旅游应用中，生成用户与虚拟导游共同游览景点的视频，导游详细介绍景点的历史和文化，增强旅游体验的真实感。

常见问题

• Ingredients能支持多少种身份生成？：Ingredients可以同时处理多个身份的生成，具体数量取决于计算资源和视频复杂性。
• 生成视频的质量如何保证？：通过高质量的面部特征提取和多尺度特征融合，Ingredients能够生成视觉效果良好且过渡自然的视频。
• 使用Ingredients需要专业知识吗？：不需要，Ingredients提供用户友好的界面，允许用户通过简单的文本提示进行视频内容控制。