开源3D人体动作编辑项目，文本驱动指导和编辑3D人体动作

产品名称：MotionFix
产品简介：MotionFix是开源的3D人体动作编辑项目，通过结合自然语言描述和条件扩散模型TMED，实现了对3D人体动作的精确编辑。通过半自动方式构建了一个包含源动作、目标动作和编辑文本的三元组数据集，解决了训练数据不足的问题。
详细介绍：

MotionFix是什么

MotionFix是开源的3D人体动作编辑项目，通过结合自然语言描述和条件扩散模型TMED，实现了对3D人体动作的精确编辑。通过半自动方式构建了一个包含源动作、目标动作和编辑文本的三元组数据集，解决了训练数据不足的问题。TMED模型能理解文本描述中的编辑指令，应用于源运动，生成符合描述的修改后运动，同时保持与源运动的连贯性。在动画制作、虚拟现实、游戏开发等领域具有广泛的应用潜力，为3D人体动作编辑提供了一种新的、基于文本的控制和编辑方法。

MotionFix的主要功能

文本驱动的动作编辑：支持用户通过自然语言描述来指导和编辑3D人体动作，实现对动作细节的精确调整。
数据集构建：通过半自动方法构建了一个包含源动作、目标动作和编辑文本的三元组数据集，为模型训练提供数据支持。
条件扩散模型（TMED）：基于条件扩散模型根据源动作和文本指令逐步迭代生成编辑后的动作，保持动作的连贯性和准确性。
多模态输入处理：TMED模型能处理包括文本描述、源动作和噪声向量在内的多种输入模态，提高了编辑的灵活性和适应性。
编辑指导与控制：通过引导比例控制生成过程中源动作和文本指令的影响程度，支持用户调整生成动作与源动作的相似度及文本描述的遵循度。
评估指标创新：引入基于检索的评估指标，量化评估生成动作的准确性和与源动作的接近程度，为运动编辑效果提供客观评价。

MotionFix的技术原理

半自动数据收集：基于现有的动作捕捉数据集和文本到动作检索模型（如TMR），自动找到相似的动作对，通过人工标注编辑文本来构建数据集。
SMPL动作表示：用SMPL（Skinned Multi-Person Linear）模型参数化人体动作，一种广泛用于3D人体建模和动作捕捉的参数化表示方法。
编码器-解码器架构：TMED模型包括多个编码器来处理时间步、文本和动作输入，以及一个变换器（Transformer）模型来处理所有输入的编码。
分类器自由引导（Classifier-Free Guidance）：在采样过程中，用分类器自由引导来调整源动作和文本条件的影响，从而控制生成过程。
检索基线：为了评估生成动作的质量，用基于检索的度量标准，如生成到目标检索和生成到源检索，来衡量生成动作与目标或源动作的相似度。