EnerVerse – 智元机器人推出的首个机器人4D世界模型

EnerVerse 是智元机器人团队推出的首款机器人4D世界模型，旨在通过生成未来的具身空间来引导机器人完成复杂任务。该模型采用自回归扩散技术，结合稀疏记忆机制和锚定视角，大幅提升了4D生成能力及动作规划效果。实验表明，EnerVerse 在机器人动作规划的任务中已达到了领先水平。目前，EnerVerse 的项目主页和相关论文已上线，模型与数据集也即将开源。

EnerVerse是什么

EnerVerse 是智元机器人团队研发的首个机器人4D世界模型，旨在通过生成未来的具身空间来指导机器人完成复杂任务。该模型运用自回归扩散模型，并结合稀疏记忆机制及锚定视角，显著增强了4D生成能力和动作规划性能。实验结果显示，EnerVerse 在机器人动作规划任务中表现出色，达到了当前最优水平。目前，其项目主页和论文已经上线，模型与数据集也将很快开源。

EnerVerse的主要功能

• 未来空间生成：EnerVerse 使用自回归扩散模型，能够生成未来的具身空间，帮助机器人在任务指导和实时观察的基础上进行未来动作规划。
• 高效动作规划：在生成网络的下游，EnerVerse 加入了由多层Transformer构成的Diffusion策略头，能够在逆扩散的第一步即输出未来动作序列，确保动作预测的实时性。

EnerVerse的技术原理

• 自回归扩散模型
  • 逐块生成：EnerVerse 采用逐块生成的自回归扩散模型，通过扩散模型为未来的具身空间建模。这种逐步生成每个时刻空间信息的方法使机器人在执行复杂任务时，能够整合来自多个时刻的环境数据，而不仅仅依赖局部信息。
  • 扩散模型架构：该模型基于结合时空注意力的UNet结构，每个空间块内部通过卷积与双向注意力建模，而块与块之间则通过单向因果逻辑保持时间一致性。
• 稀疏记忆机制
  • 记忆管理：借鉴大语言模型的上下文记忆，EnerVerse 在训练阶段对历史帧进行高比例随机掩码处理，并在推理阶段以较大时间间隔更新记忆队列。这种机制有效降低了计算开销，同时显著提升了长程任务的生成能力。
• 锚定视角
  • 视角灵活性：FAV 使机器人能够根据场景灵活调整视角，克服了固定多视角在狭窄或遮挡环境中的局限性。例如，在厨房等复杂场景中，FAV可以轻松应对动态遮挡。
  • 空间一致性：EnerVerse 基于光线投射原理，使用视线方向图作为视角控制条件，并将2D空间注意力扩展为跨视角的3D空间注意力，以确保生成视频的几何一致性。
• Diffusion策略头
  • 高效动作预测：在生成网络的下游，加入了由多层Transformer组成的Diffusion策略头，能够在逆扩散的第一步即输出未来动作序列，确保动作预测的实时性。
  • 稀疏记忆支持：在动作预测推理中，稀疏记忆队列存储真实或重建的FAV观测结果，以提升模型对长程任务的规划能力。

EnerVerse的项目地址

• 项目官网：https://sites.google.com/view/enerverse/home
• arXiv技术论文：https://arxiv.org/pdf/2501.01895

EnerVerse的应用场景

• 环境感知与决策：在自动驾驶领域，EnerVerse 能通过生成未来空间辅助车辆实现环境感知与决策。
• 机器人操作与装配：在工业生产线上，EnerVerse 能指导机器人完成复杂的装配任务。通过未来空间的生成，机器人能够更好地理解零件之间的空间关系和装配顺序，从而提升装配效率和精度。
• 质量检测与维护：EnerVerse 还可用于工业设备的质量检测和维护。机器人利用生成的未来空间进行全面检查，及时发现潜在故障及问题。
• 家庭服务：在家庭环境中，EnerVerse 帮助服务机器人更好地理解和规划任务。例如，在整理房间、搬运物品等任务中，机器人能够通过生成未来空间预测物品的摆放位置和移动路径。
• 医疗辅助：在医疗领域，EnerVerse 可以辅助医疗机器人进行手术操作或康复训练。通过生成未来空间，机器人能够更准确地规划手术步骤或康复动作。

常见问题

• EnerVerse如何提高机器人任务执行的效率？通过生成未来空间，EnerVerse 能够为机器人提供更全面的环境理解，从而优化动作规划和执行效率。
• EnerVerse的技术原理是否复杂？EnerVerse 结合了自回归扩散模型、稀疏记忆机制和锚定视角，这些技术的结合使得模型在性能上具有显著优势。
• 如何获取EnerVerse的模型和数据集？EnerVerse 的模型与数据集即将开源，具体信息将在项目官网上公布。