华为诺亚方舟实验室与哈工大（深圳）联合提出的手机操控智能体评估框架。

原标题：华为与哈工深等最新研究成果：SPA-Bench，手机操控智能体评估新标准
文章来源：AI科技评论
内容字数：9414字

手机操控智能体基准测试框架——SPA-Bench

随着智能手机在日常生活中的普及，手机操控智能体的研究逐渐成为重要课题。然而，现有的评估框架存在多方面的局限性。为此，华为诺亚方舟实验室与哈尔滨工业大学（深圳）联合提出了新的评估框架——SPA-Bench（SmartPhone Agent Benchmark）。该框架旨在重新定义手机操控智能体的研究与评估标准。

1. 现有基准测试的局限性

现有测试框架的任务范围有限，主要集中在简单的系统应用操作，难以涵盖多语言及动态界面环境中的复杂任务。此外，基准测试中涉及的智能体种类较少，且验证机制依赖固定规则，缺乏灵活性。这些问题导致评估的全面性和准确性受到影响。

2. SPA-Bench的核心设计

SPA-Bench通过以下三个方面解决了现有基准测试的痛点：

• 任务设计：涵盖340个真实场景任务，包括单应用和跨应用任务，难度分为三级，确保评估的独立性和全面性。
• 智能体框架：支持多种智能体的集成与横向对比，研究者可快速测试新模型，提高研究效率。
• 自动化流程：提供全面自动化的验证流程，结合多维度指标高效评估智能体表现。

3. 实验结果与分析

实验表明，不同智能体在任务成功率上存在显著差异。M3A表现最佳，单应用任务成功率高于跨应用任务。中文任务的成功率普遍低于英文任务，反映出多模态大模型在处理复杂中文界面时的局限性。此外，任务完成效率与资源消耗的权衡也是智能体性能的重要考量。

4. 未来研究方向

未来的研究可以集中在增强视觉感知能力、丰富数据集多样性、改进记忆保留机制、强化错误处理机制、优化任务终止判断及提升执行效率等方面。这些方向将有助于提升手机操控智能体的性能和实用性。

5. 总结

SPA-Bench的提出为手机操控智能体的研究提供了强有力的工具，填补了现有基准测试的空白。通过全面的任务设计和高效的验证流程，SPA-Bench将推动手机智能体技术的进一步发展与应用。

联系作者

文章来源：AI科技评论
作者微信：
作者简介：雷峰网旗下AI新媒体。聚焦AI前沿研究，关注AI工程落地。