3DHM – 3D人体动作生成框架，单张图片生成任意视频动作

3DHM是什么

3DHM（3D Human Motions）是一项由加州大学伯克利分校的研究团队开发的先进3D人体动作生成技术。该技术能够依托单张人物照片，生成可进行3D控制的动态人体视频，实现静态图像向动态视频的转换。通过对人体不可见部分的先验知识的学习，并结合特定的3D序列，3DHM可以渲染出适合的服装和纹理，生成全新的身体姿态。这项技术在电影特效、虚拟现实和游戏开发等多个领域展现出广泛的应用潜力，为动画制作和人体动作模拟开辟了新局面。

3DHM的主要功能

• 动作生成：3DHM可以根据文本描述生成相关的3D人体动作，如跑步、舞蹈、打篮球等。
• 动作编辑：支持基于掩码的编辑功能，用户可以选择特定的动作部分进行调整，例如改变动作的持续时间或细节。
• 动作评估：提供评估脚本，用于分析生成动作的质量和真实性。
• 纹理修复：通过单张照片生成不完整的纹理，并利用扩散模型进行修复，以生成完整的纹理图案。
• 人体渲染：基于3D人体姿势的渲染流程，可以生成目标人物在不同姿势下的逼真渲染，包括衣物、发型和隐藏区域的合理填充。
• 动作模仿：3DHM框架能够模仿目标视频中的动作，包括肢体和服装、人物外观的变化。
• 3D控制：3DHM能够使用多种合成相机轨迹来渲染人物，生成一系列忠实于目标的3D姿态，确保视觉效果与输入图像相似。

3DHM的技术原理

• 纹理修复（Inpainting Diffusion）：通过单张照片生成不完整的纹理图案，并采用扩散模型进行修复。首先，从照片中提取可见的纹理图案及其对应的mask，然后将这些输入传入扩散模型以生成完整的纹理图案。
• 人体渲染（Rendering Diffusion）：在第二阶段，目标是获得更真实的人物渲染，包括衣物、发型和身体形状等细节。将第一阶段生成的纹理图案应用于演员的3D身体网格序列，生成模仿者执行演员动作的中间渲染，随后将其与原始照片一起输入渲染扩散，生成真实外观的人物。
• 预测模型4DHumans：3DHM框架充分利用来自先进预测模型4DHumans的准确3D姿势预测，模型能够精确跟踪人体动作并提取演员视频中的3D姿势。

3DHM的项目地址

• 项目官网：https://boyiliee.github.io/3DHM
• Github仓库：https://github.com/Boyiliee/3DHM
• arXiv技术论文：https://arxiv.org/pdf/2401.10889

3DHM的应用场景

• 电影特效制作：3DHM可用于生成复杂的角色动画，减少手动制作的工作量，提高电影特效的真实感与效率。
• 虚拟现实（VR）：在VR应用中，3DHM能够实时生成用户身体的3D模型，提升沉浸感和互动体验。
• 游戏开发：游戏开发者可以利用3DHM快速生成多样化的角色动画，增强游戏的丰富性与开发效率。
• 舞蹈与体操：3DHM能够生成舞蹈或体操等动作的高质量视频内容，适用于体育训练和表演艺术的数字化展示。
• 动作模仿：3DHM能够精准模仿目标视频中的动作，包括肢体及服装和人物外观的变化，适合用于动作捕捉和动画制作。