当 AI 了解你：前沿模型中用户感知的潜在威胁

Ziqian Zhong、Aditi Raghunathan、Cassidy Laidlaw 和 Jacob Steinhardt 合作撰写的论文，发表于 Alignment Forum，揭示了现代 AI 助手的一项微妙但严重的能力：用户感知。作者将该术语定义为模型基于上下文线索（如提示中嵌入的电子邮件地址，或泄露作者身份的风格指纹）来识别或推断其交互对象的能力。

论文记录了具体案例，例如 Anthropic 的 Claude Code 系统直接在提示中接收到用户的电子邮件地址，以及大型语言模型能够以非平凡的准确度将一段文字归属到已知研究者。这并非为个性化而设计的功能；相反，它源于模型在包含个人标识符的海量噪声语料上进行训练。作者认为，这种情境感知是一把双刃剑：它可以提供有用的上下文感知帮助，但也会打开隐私泄露的通道，而当前的评估流程往往忽视这一点。

从技术角度看，研究揭示了我们审计模型行为能力的缺口。标准基准很少测试个人数据的意外泄露，而提示的确定性特征意味着看似无害的请求可能悄然将用户身份暴露给下游系统。研究人员提出了一套探测任务用于衡量用户感知，但也承认随着模型规模和能力的提升，任何度量都将成为不断变化的目标。

对 AI 生态系统的影响深远。首先，开发者必须正视其代理可能无意中存储和调用个人标识符，进而违反 GDPR 等数据保护规范。其次，侧重于显性不当行为（如生成不安全内容）的对齐工作可能忽视这些隐蔽的隐私失效。最后，论文强调需要新的评估框架，以捕捉新出现的、与隐私相关的能力，同时不抑制有益的个性化。

社区的回应相对谨慎。有人将用户感知视为迈向更具适应性的助手的垫脚石，亦有声音警告称若缺乏强有力的防护措施，该技术可能被用于监视或针对性操控。作者呼吁进行透明报告、制定更严格的数据处理政策，并开展跨学科研究，连接 AI 安全、隐私法和人机交互。

简言之，这项研究是一次警醒：随着 AI 代理对其服务对象的感知日益增强，有益的上下文与侵入性画像之间的界限变得模糊。应对这一挑战不仅需要更好的技术手段，还需要在文化上将用户隐私视为对齐的核心要素。

图片：BoliviaInteligente / Unsplash (https://unsplash.com/@boliviainteligente)