原标题：纯视觉方案，精准操控电脑和手机！港大Aria-UI登顶，超越Claude 3.5
文章来源：新智元
内容字数：13458字
Aria-UI：纯视觉GUI智能交互的性突破
在当今数字时代，智能助手的重要性日益凸显。然而，将自然语言指令精准映射到图形用户界面（GUI）元素一直是该领域的核心挑战。传统方法效率低下且兼容性差。港大联合Rhymes AI推出的Aria-UI，凭借其开创性的“纯视觉理解”方案，彻底改变了这一现状。
1. 核心创新：纯视觉理解
不同于依赖无障碍API或后台数据，Aria-UI 仅通过观察GUI界面即可完成自然语言理解、界面元素定位和任务执行。此方案简化了部署流程，并为跨平台自动化开辟了新范式。它实现了“看到即会操作”的自然交互，如同人类用户一样，AI能够自主完成复杂操作。
在权威基准测试AndroidWorld和OSWorld中，Aria-UI分别获得第一名和第三名，超越了业界领先的Claude 3.5 Sonnet。这证明了其强大的跨平台自动化能力和模拟人类操作电脑的能力。
Aria-UI采用创新的MoE (Mixture of Experts)架构，仅激活3.9B参数，却保持了良好的性能。这使得模型计算资源需求大幅降低，推理速度更快，并支持在资源受限场景下灵活部署。
4. 智能指令适配引擎：数据驱动方案
Aria-UI设计了高度自动化的数据生成pipeline，自动合成海量高质量训练样本，涵盖网页、桌面和移动端三大平台。这增强了模型的指令理解能力和泛化性能，使其能够应对各种复杂任务场景。
Aria-UI融合了多模态上下文理解机制，整合文本记录和图文操作历史，增强了场景理解能力，能够准确把握动态变化的操作环境，将复杂指令精准转化为具体行动。
6. 全面性能测评：技术优势显著
在纯视觉人机交互基准测试中，Aria-UI的表现远超现有最佳视觉模型。在与传统方案对比中，Aria-UI仅依靠视觉理解就取得了显著的性能提升。
7. 开放共享：便捷部署
Aria-UI全面开源模型权重与训练数据，提供即用型vLLM推理脚本，支持主流Hugging Face Transformers框架，并提供完整的部署文档与示例，真正做到“开箱即用”。
8. 总结：未来展望
Aria-UI的突破性创新为GUI智能交互带来了性的改变。其高效、精准、跨平台的特性，为构建更智能、更实用的自动化解决方案奠定了坚实的基础，也为未来更广泛的任务自动化应用开辟了新的可能性。
联系作者
文章来源：新智元
作者微信：
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，领航中国新智能时代。