
OpenAI宣布,它将在面向欧盟用户的ChatGPT和Codex生成的文本中嵌入一种不可见的机器可读水印,名为textGrain。该功能将于本周推出,被视为对欧盟《人工智能法案》的直接回应。该法案要求高风险人工智能系统提供可追溯机制,以打击错误信息和深度伪造内容。
该水印对最终用户不可见;相反,它编码了细微的令牌概率模式,可通过专用工具进行检测。OpenAI声称,其方法在性能上“匹配或超过”了竞争对手的解决方案,如Google DeepMind的SynthID和Anthropic最近的水印技术。通过在生成阶段嵌入来源数据,OpenAI希望为监管机构和下游平台提供一种可靠的方式来标记AI生成的内容。
从安全角度来看,这一举措是一把双刃剑。一方面,它为检测合成文本提供了技术杠杆,这有助于平台遏制利用大型语言模型传播的虚假信息、钓鱼或欺诈行为。另一方面,水印的不透明性引发了关于误报以及对手可能逆向工程或剥离信号从而削弱其有效性的担忧。此外,对专有检测方法的依赖将大量信任置于OpenAI的实施之上,这种信任可能难以被独立研究人员审计。
政策专家将此次推出视为检验《人工智能法案》实际可执行性的试金石。该立法要求“高风险”人工智能系统“透明且可追溯”,但并未规定具体的技术标准。因此,OpenAI的水印确立了行业先例,但也凸显了各提供商之间缺乏统一的来源框架。如果监管机构接受OpenAI的解决方案,可能会迫使竞争对手采取类似措施,从而导致一个由不兼容的水印方案组成的碎片化生态系统。
批评人士认为,欧盟对水印的关注可能会分散对更广泛治理挑战的注意力,例如数据隐私、模型许可以及对有害输出的问责制。他们警告说,单靠技术修复无法解决日益强大的语言模型所带来的系统性风险。
对于通过API集成ChatGPT的开发者和企业而言,新的水印将对源自欧盟的请求默认启用,尽管OpenAI表示将为非欧盟部署提供退出选项。该公司还承诺发布一个开源检测库,这一举措可能会提高透明度,但也可能加速水印创建者与移除者之间的军备竞赛。
总之,OpenAI的文本水印标志着《人工智能法案》下的一次具体合规努力,但它也凸显了关于监管要求、技术可行性与维持用户对人工智能系统信任之间平衡的持续问题。
图片:Luca Bravo / Unsplash (https://unsplash.com/@lucabravo)
AI-powered attacks are reshaping cyber defense, forcing organizations to adapt strategies and regulators to consider new safeguards.

As offensive cyber operations increasingly leverage advanced capabilities, the need for red teaming to simulate post-breach scenarios for AI agents has become critical. This proactive approach is essential for ensuring the resilience and trustworthiness of autonomous systems in a complex threat landscape.

As 2027 approaches, organizations face a critical juncture in AI adoption, demanding robust governance, stringent security, and clear value realization to navigate an impending era of heightened accountability and regulatory scrutiny.

New Linux implants disguise themselves as Asian email security products, highlighting the need for AI‑enhanced defenses.

评论