Seer – 上海 AI Lab 联合北大等机构推出的端到端操作模型

Seer是一款由上海AI实验室、北京大学计算机科学与技术学院及北京大学软件与微电子学院等机构联合研发的先进端到端操作模型。它实现了机器人视觉预测与动作执行之间的高效协作。该模型融合历史信息和目标信号（如语言指令），能够预测未来状态，并利用逆动力学模型生成相应的动作信号。Seer采用Transformer架构，能够处理多模态输入数据，充分整合视觉、语言和机器人本体信号。在真实机器人任务中，Seer的操作成功率比当前最先进的模型提升了43%，并在多种复杂场景下展现出卓越的泛化能力。

Seer是什么

Seer是一种端到端的操作模型，旨在实现机器人的视觉预测与动作执行之间的紧密协作。其核心在于结合历史信息和目标信号（如语言指令），预测未来时刻的状态，并通过逆动力学模型生成相应的动作信号。基于Transformer的结构，Seer能够有效处理多模态输入数据，充分融合视觉、语言及机器人状态信息。在机器人任务中，Seer的操作成功率比现有最先进模型提高了43%，并在多种复杂场景下展现出极佳的泛化能力。在控制算法测试基准CALVIN ABC-D Benchmark中，Seer的平均任务完成长度达到4.28，综合领先同类模型。

Seer的主要功能

• 动作预测：根据当前的视觉状态及目标，预测适合的机器人动作，利用逆动力学模型推导出达成目标所需的中间动作序列。
• 视觉预测：Seer拥有条件视觉预测功能，可以预测未来一段时间内的RGB图像，使机器人能够“预见”未来的视觉状态，进而更好地规划和调整动作。
• 多模态融合：整合视觉、语言及机器人状态等多种模态的信息，从而实现对复杂任务的深入理解与执行。通过多模态编码器，将不同模态的特征进行有效整合，为动作预测和视觉预测提供全面的上下文信息。
• 泛化能力：Seer在大规模机器人数据集上进行预训练，显示出强大的泛化能力，在未见场景、新物体、不同光照条件以及高强度干扰下，依旧能够保持稳定的性能。
• 数据效率：Seer通过在预训练阶段学习到丰富的先验知识，在下游任务中仅需少量微调数据即可实现优秀性能，从而降低数据采集和标注的成本。

Seer的技术原理

• 端到端架构：Seer采用端到端的架构设计，将视觉预测与逆动力学预测紧密结合。在训练过程中，视觉预测模块与逆动力学模块协同优化，使模型能够充分利用视觉和动作信息，从而提高动作预测的准确性。
• Transformer架构：利用Transformer架构处理视觉状态和动作信息，能够捕捉视觉和动作序列中的复杂依赖关系，为模型提供强大的特征提取与表示能力。
• 先见令牌与动作令牌：Seer引入先见令牌（foresight token）和动作令牌（action token）。先见令牌用于预测未来的RGB图像，动作令牌则用于估计当前与预测未来观察之间的中间动作。两个令牌通过多模态编码器与输入的RGB图像、机器人状态和语言令牌进行融合，利用单向注意力掩码实现深度信息整合。
• 单向注意力掩码：Seer设计了特殊的单向注意力掩码，使动作令牌能够充分整合过去和未来的预测信息，从而提高动作预测的准确性和鲁棒性。
• 大规模预训练与微调：Seer首先在大规模机器人数据集（如DROID）上进行预训练，获取丰富的视觉与动作先验知识。在下游任务中，通过少量的微调数据对模型进行调整，以适应具体任务场景和目标。

Seer的项目地址

• 项目官网：https://nimolty.github.io/Seer
• GitHub仓库：https://github.com/OpenRobotLab/Seer
• arXiv技术论文：https://arxiv.org/pdf/2412.15109

Seer的应用场景

• 工业自动化：指导机器人精准安装汽车部件，从而提升装配效率与质量。
• 服务机器人：协助服务机器人根据需求将物品准确送达客房，提高客户体验。
• 医疗健康：作为虚拟手术机器人的核心，辅助医学生学习与练习手术技能。
• 物流与仓储：自动化分拣系统快速而准确地将包裹分拣到指定通道，提高分拣效率。
• 教育行业：作为教学案例，帮助学生深入理解机器人编程的高级技术与算法。