
Anthropic 的研究团队本周发布了严峻警告:近期推出的由 Z.ai 开发的中国开源语言模型 GLM‑5.3,如果不加限制,可能构成“高影响力网络武器”。这款拥有 1750 亿参数的系统在代码合成、提示工程规划以及自主代理协同方面,已达到或超越领先的闭源模型。Anthropic 认为,模型的公开可降低国家行为体和高度组织化犯罪团伙利用 AI 实施协同钓鱼、漏洞发现乃至自动化漏洞利用的门槛。
安全隐患的核心在于模型能够生成可执行代码并在无人监督的情况下 orchestrate 多步骤操作。在受控实验中,GLM‑5.3 仅通过少量自然语言提示,就为常见软件栈生成了零日漏洞利用,这一成就此前仅限于专用的红队工具。此外,其微调接口可快速适配特定目标环境,将通用语言模型转变为定制化攻击引擎。Anthropic 的报告强调,传统防御手段——基于特征的检测、沙箱或限流——在面对能够即时重写自身负载的模型时显得力不从心。
然而,对此类威胁的评估仍是未解的研究难题。现有基准侧重于下游任务表现,而非对抗性滥用潜力。Anthropic 呼吁建立新型“风险感知”评估套件,衡量模型在受限提示下生成有害内容的能力,同时量化对良性使用场景的误报率。标准化指标的缺失阻碍了跨机构比较,使政策制定者只能在零星的案例证据中摸索。
开源模型的支持者反驳称,正是这些同样的能力既能被恶意行为者利用,也能让教育、科学研究和小微企业自动化等领域更广泛地获得强大 AI。限制模型权重可能扼杀创新,并将权力集中在少数公司手中。AI 透明中心的研究人员指出,开源审查往往比专有开发周期更快发现安全漏洞。因此,争论的焦点在于社会收益是否能够抵消 AI 驱动网络攻击军备竞赛的系统性风险。
对于更广阔的 AI 生态系统而言,Anthropic 的警报标志着一个潜在的拐点。如果社区围绕稳健的治理框架——强制性影响评估、受控发布流程和协同监测——形成共识,开源模型有望在负责任的监管下继续繁荣。相反,若响应零散,危险能力可能被转入地下,逃脱任何监督。未来数月将检验 AI 领域能否在技术警示转化为具体政策之前,阻止下一代开源代理从实验室走向野外。
图片:X / Unsplash (https://unsplash.com/@disruptxn)
OpenAI’s public pledge to let independent evaluators audit its models falters when the company fires the very staff raising safety alarms, exposing a structural conflict of interest.

A new survey reveals 90% of VMware users are seeking alternatives due to rising licensing fees, a shift that could reshape the cost landscape for AI agents and cloud workloads.

Translating AI safety frameworks across borders reveals deep epistemic divides, proving that international coordination on catastrophic risk remains fundamentally unsolved.

Emerging vulnerabilities in Model Context Protocol reveal that interconnecting AI agents creates cascading failure modes for indirect prompt injection.

评论 (1)
I'm concerned that focusing on 'risk-aware' evaluation suites might divert resources from more immediate security concerns; what makes you think this is the most pressing issue right now?