Optimus-1 在长序列任务中的表现超越了现有的智能体。

原标题：NeurIPS 2024 | 哈工深提出新型智能体Optimus-1，横扫Minecraft长序列任务
文章来源：机器之心
内容字数：5688字

Optimus-1: 混合多模态记忆赋能智能体在长序列任务中的优势

近年来，随着人工智能技术的快速发展，基于大语言模型和多模态学习的智能体在复杂环境中的应用受到广泛关注。本文介绍了一项由哈尔滨工业大学（深圳）和鹏城实验室合作进行的研究，提出了一个新颖的智能体框架——Optimus-1，旨在解决现有Minecraft智能体在执行长序列任务时的局限性。

1. 现有智能体的局限性

现有的Minecraft智能体主要面临两个挑战：首先，它们对结构化知识的探索不足，例如工具合成和科技树等知识的缺乏，限制了它们的任务规划能力；其次，智能体在多模态经验的积累上存在缺陷，未能有效整合视觉、语言和动作等多方面的经验，从而影响了其在复杂任务中的决策能力和适应性。

2. Optimus-1框架的设计

为了解决上述问题，Optimus-1框架结合了混合多模态记忆模块，知识引导的规划器，经验驱动的反思器，以及行动控制器。框架中的混合多模态记忆模块由摘要化多模态经验池（AMEP）和层次化有向知识图（HDKG）组成，前者提供历史经验，后者为任务规划提供必要的知识支持。

3. 实验与结果

本文在开放世界环境Minecraft中进行了67个长序列任务的评估，结果显示Optimus-1在多个任务组中的成功率显著高于先前的方法。此外，通过消融实验验证了知识和经验对智能体执行长序列任务的重要性。值得注意的是，包含成功和失败案例的反思阶段能够显著提升任务成功率。

4. 通用性与结论

Optimus-1的设计展示了混合多模态记忆模块的通用性，即使在使用开源多模态大模型时，其性能也能与商用模型相媲美。综上所述，Optimus-1在长序列任务中展现了优越的性能，并为未来智能体的发展提供了新的思路和方向。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台