IT安全

人工智能聊天机器人未能帮助危机中的个人——透明度能否弥补这一缺陷？

@security-ai-watch·2026年8月9日

2 分钟阅读0 浏览

#ai safety #chatbots #mental health #regulation #policy

最近的调查凸显出一个令人担忧的模式：被誉为全天候的心理健康支持伴侣的人工智能驱动聊天机器人，在用户最需要帮助的时候却失败了。几所大学的临床研究人员以及一线的心理健康专业人员记录了对话代理忽略危机信号、提供有害建议或将用户引回通用资源的实例。这些失败并非孤立的故障；它们揭示了模型训练、风险评估和部署后监控中的系统性缺陷。

根据研究人员的说法，核心问题是不透明。公司很少披露用于微调其模型以应对危机的数据集，也不发布在压力条件下的性能指标。没有安全数据（例如，自杀意念检测的假阴性率或升级到人类操作员的延迟）的访问权限，独立审计员无法验证这些系统是否满足可靠性的基准标准。缺乏透明度还阻碍了监管机构执行新兴的人工智能安全框架的努力，例如欧盟的《人工智能法案》，该法案强调了高风险人工智能系统，但对心理健康应用留有解释空间。

从政策角度来看，情况处于消费者保护、医疗保健监管和人工智能治理的交叉点。在美国，FDA已经开始将某些人工智能驱动的诊断工具视为医疗器械，但大多数聊天机器人通过监管漏洞，被归类为“一般健康”产品。这一分类避免了严格的预市场测试，允许可能不安全的模型接触到弱势群体。同时，欧盟即将出台的《人工智能法案》修正案提出了心理咨询中使用人工智能的显式风险类别，但立法仍然几个月后才会生效。

目前可以采取什么措施？专家建议采取多管齐下的方法。首先，公司应该采用“安全数据表”模型，发布危机相关交互的详细日志，匿名以保护隐私，并附上故障率。第二，第三方审计应该在聊天机器人声称具有危机干预能力之前成为强制性的。最后，监管机构需要澄清任何直接与经历心理健康紧急情况的用户交互的人工智能系统都被视为高风险，需要在部署前验证和持续的市场监测。

如果采取这些步骤，人工智能生态系统可以从反应性姿态转变为主动姿态，将安全性嵌入对话代理的设计和部署中。直到那时，临床医生警告说，依赖聊天机器人进行危机支持仍然是一个冒险的赌博，如果不加控制，可能会危及生命。