OpenAI智能体曝本月诞生!比谷歌Anthropic慢,竟是担心prompt攻击


OpenAI智能体曝本月诞生!比谷歌Anthropic慢,竟是担心prompt攻击

原标题:OpenAI智能体曝本月诞生!比谷歌Anthropic慢,竟是担心prompt攻击
文章来源:新智元
内容字数:3288字

OpenAI智能体发布延迟:安全问题成最大阻碍

OpenAI一直以来在人工智能领域占据领先地位,但其备受期待的计算机操作智能体却迟迟未发布。本文将总结外媒报道中OpenAI智能体发布延迟的原因,以及与竞争对手Anthropic和Google的对比

  1. 智能体竞争激烈:2025年被预测为AI智能体竞争最为激烈的年份。Anthropic和Google已率先发布各自的智能体产品,分别为基于Claude 3.5 Sonnet的计算机操作智能体和Project Jarvis。这些智能体能够自主操控电脑,完成诸如在线购物、编辑电子表格等任务,极大地提高了效率。
  2. OpenAI的延迟发布:OpenAI原计划在1月份发布代号为“Operator”的智能体工具,但目前看来至少还要三四周才能发布。其主要原因是担忧“AI安全问题”,特别是“提示注入攻击”。
  3. 提示注入攻击的威胁:提示注入攻击是指通过恶意提示诱导大语言模型执行有害指令。对于计算机操作智能体而言,这种攻击的风险更高,因为智能体能够直接操控用户设备,恶意网站或指令可能导致信息泄露或其他安全问题。攻击过程一般包含四个步骤:接收用户请求、选择工具、截屏评估任务、继续使用工具直至完成目标。而安全隐患主要集中在第三步,恶意截图内容可能被利用。
  4. OpenAI的安全顾虑:OpenAI员工表示,由于模型在浏览网络或控制用户计算机时,用户难以控制模型接收的信息,因此提示注入攻击的风险非常高。 这与Anthropic在发布其实验性计算机操控功能时相对宽松的安全措施形成对比,引发了OpenAI内部的担忧。
  5. Anthropic和Google的策略:Anthropic虽然也承认提示注入的风险,但提供的解决方案有限,仅建议开发者采取隔离措施,例如使用虚拟机。Google的Project Jarvis则需要云端操作,暂时无法在终端设备上运行。
  6. OpenAI的挑战:OpenAI面临的挑战是如何在功能上超越竞争对手,同时提供更强大的安全保障,以应对提示注入攻击等安全风险。 这需要在AI安全与产品发布速度之间取得平衡,这对于任何一家AI公司都是一个巨大的挑战。

总而言之,OpenAI的智能体发布延迟并非技术问题,而是对AI安全性的谨慎考量。 如何在保证安全性的前提下,尽快推出功能强大的智能体产品,将是OpenAI未来需要解决的关键问题。


联系作者

文章来源:新智元
作者微信:
作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人对人类社会与文明进化的影响,领航中国新智能时代。

版权声明:atcat 发表于 2025-01-09 15:19:43。
转载请注明:OpenAI智能体曝本月诞生!比谷歌Anthropic慢,竟是担心prompt攻击 | 86AIGC导航

暂无评论

暂无评论...