PC Agent – 上海交大联合 GAIR 推出的电脑智能体AI系统

PC Agent是什么

PC Agent是由上海交通大学与Generative AI Research Lab (GAIR)共同开发的一款前沿人工智能系统。该系统模拟人类的认知过程，能够高效地执行组织研究资料、撰写报告和制作演示文稿等复杂的数字任务。PC Agent整合了PC Tracker，能够高效地收集人机交互数据，并通过两阶段认知流程将原始数据转化为具有认知价值的轨迹。其多智能体系统架构结合了规划智能体与定位智能体，实现了精准的视觉定位与决策制定。在有限的高质量认知数据训练下，PC Agent能够处理多达50步的复杂工作流程，展现出卓越的数据利用效率和实际应用潜力。

PC Agent的主要功能

• 任务自动化：自动执行复杂的数字化任务，诸如组织研究材料、撰写报告及制作演示文稿。
• 人机交互数据收集：通过PC Tracker收集用户与计算机的交互轨迹和认知上下文信息。
• 认知轨迹转化：利用两阶段认知流程将原始交互数据转换为富含认知信息的轨迹。
• 复杂工作处理：能够处理涉及多个应用程序的复杂工作流程，例如在PowerPoint与浏览器之间切换以收集信息。
• 多智能体协作：结合规划智能体与定位智能体，确保决策的有效性与视觉定位的准确性。
• 少量数据训练：仅依赖少量的认知轨迹数据，便能执行复杂的工作流程。

PC Agent的技术原理

• PC Tracker：
  • 数据收集：在后台默默运行，记录用户的键盘与鼠标活动，捕捉屏幕截图，从而收集人机交互的数据。
  • 跟踪：采用基于的跟踪策略，记录关键用户操作，以减少存储需求而非持续的视频流。
  • 动作空间统一：将键盘和鼠标操作整合为统一的动作空间，从而简化AI对人类行为的理解。
• 认知完成流程：
  • 数据精炼：通过轨迹过滤、动作过滤与标准化，提升原始交互数据的质量。
  • 动作语义完成：为点击相关动作补充语义信息，以生成高质量的点击目标描述。
  • 思维过程重建：基于动作语义信息，重建每个动作背后的隐含推理过程。
• 多智能体系统：
  • 规划智能体：负责制定行动决策，基于学习人类认知轨迹以获得有效的规划能力。
  • 定位智能体：负责执行点击相关的动作，并具备自我验证机制，以实现接近人类的精准度。
  • 错误修正机制：当定位智能体发现规划智能体试图点击的目标在屏幕上不存在时，会提示规划智能体重新制定行动计划。

PC Agent的项目地址

• 项目官网：gair-nlp.github.io/PC-Agent
• GitHub仓库：https://github.com/GAIR-NLP/PC-Agen
• arXiv技术论文：https://arxiv.org/pdf/2412.17589

PC Agent的应用场景

• 办公自动化：自动创建和编辑文档、表格以及演示文稿，从而提升日常办公效率。
• 研究与学术：整理和分析研究数据，自动生成文献综述，辅助撰写学术论文。
• 内容创作：自动进行排版和布局，提高内容创作的效率和质量。
• 项目管理：自动更新项目报告，协调团队任务，优化项目管理流程。
• 客户服务：管理客户数据，提供快速且个性化的客户支持。

常见问题

• PC Agent的使用是否需要专业知识？：不需要，PC Agent设计为用户友好，普通用户也能轻松上手。
• 系统支持哪些操作系统？：PC Agent兼容主流操作系统，如Windows和MacOS。
• 如何获取PC Agent的更新？：用户可以通过项目官网或GitHub页面获取最新版本和更新信息。
• PC Tracker的数据安全性如何保障？：PC Tracker严格遵循数据保护规范，确保用户数据的安全性和隐私。