提示注入

Claude正式进军AI Agent浏览器领域，但采用的是Chrome插件形式而非独立浏览器，用户可将其作为侧边栏在任意网页上调用。该插件提供「行动前询问」和「直接行动」两种模式，并创新性地推出「教Clawed」功能，允许用户通过演示工作流让AI学习。主持人测试后发现，Claude虽然解决了OpenAI Atlas的一些限制，例如每日提示次数上限，但在完成复杂任务方面仍不够成熟，操作时仍需用户描述UI元素才能执行。更值得关注的是安全隐患——恶意网站可能通过提示注入攻击窃取用户的敏感信息，这一风险值得警惕。

OpenAI近日发布博客警告，随着Claude AI Agent、OpenAI Atlas、Perplexity Comet等AI浏览器工具的普及，提示注入攻击已成为AI领域面临的重大安全威胁。攻击者可在邮件、网页、文档中隐藏恶意指令，操纵AI代理执行转账、窃取数据等有害操作。OpenAI承认，这类攻击可能永远无法完全解决。英国国家网络安全中心也发出警告，称生成式AI应用的提示注入风险或许难以彻底缓解。面对这一挑战，OpenAI采取「AI对抗AI」策略，训练AI代理模拟黑客行为以主动发现系统漏洞。这场安全攻防战，注定将成为AI发展进程中一场持久而艰难的博弈。