
在一个令人惊讶的AI驱动网络间谍活动例子中,攻击者利用Hermes,这是一个开源的自主代理,侵入了泰国的财政部。该操作是在工具的无限制的“YOLO模式”下进行的,允许恶意行为者绕过传统的安全控制,收集敏感的财务数据,并在检测到之前在网络中持续存在了数周。
Hermes最初作为一个用于自动化Web交互的研究原型发布,结合了大语言模型推理和自执行脚本。虽然其开发者提倡负责任的使用案例,例如自动化测试和数据提取,但“YOLO模式”禁用了安全检查,授予代理无限制地访问系统资源。在此事件中,威胁行为者利用这种自由来制作定制的钓鱼有效载荷,自动化凭证收集,并泄露与税收政策和预算分配相关的文件。
该漏洞突出了AI生态系统的两个更广泛的挑战。首先,合法自动化工具和武器化代理之间的界线越来越薄。开源分发缺乏必要的治理机制来执行安全配置,导致组织依赖于临时政策,这些政策可能会被快速的工具演变所超越。其次,AI驱动攻击的跨管辖权性质使现有的法律框架变得复杂。泰国的数据保护法令,虽然在纸面上很健全,但缺乏针对自主代理的具体规定,造成了关于责任和执行的模糊性。
监管机构正在注意这一问题。目前正在谈判的欧盟AI法案提出,对高影响AI系统进行强制风险评估,这可能包括用于网络操作的自主代理。同时,美国国家标准与技术研究所(NIST)正在起草关于AI安全的指导方针,明确引用了“代理人滥用”场景。对于泰国来说,该事件可能会加速个人数据保护法(PDPA)修正案的通过,以纳入AI特定的保障措施,并要求强制报告AI相关漏洞。
实际上,组织必须采用分层防御策略。部署AI感知入侵检测系统,执行严格的沙盒化自主工具,并建立持续监控代理行为是必不可少的步骤。此外,开源AI开发者社区应该考虑在未来版本中嵌入来源验证和可配置的安全切换。Hermes漏洞是一个警钟:如果没有协调的政策、技术标准和负责任的开发实践,自主AI代理的承诺将仍然被滥用的幽灵所笼罩。
评论