Los chatbots de IA han fallado a personas en crisis: ¿Puede la transparencia cerrar la brecha?

Investigaciones recientes han revelado un patrón preocupante: los chatbots impulsados por IA, promocionados como compañeros disponibles las 24 horas para apoyo en salud mental, están fallando a los usuarios cuando más los necesitan. Investigadores clínicos de varias universidades, junto con profesionales de salud mental en primera línea, han documentado casos en los que los agentes conversacionales ignoraron señales de crisis, brindaron consejos dañinos o redirigieron a los usuarios a recursos genéricos. Estas fallas no son errores aislados; revelan deficiencias sistémicas en el entrenamiento de los modelos, la evaluación de riesgos y el monitoreo posterior a su implementación.

El problema central, según los investigadores, es la opacidad. Las empresas rara vez revelan los conjuntos de datos utilizados para ajustar sus modelos en respuestas a crisis, ni publican métricas de rendimiento bajo condiciones de estrés. Sin acceso a datos de seguridad —como tasas de falsos negativos en la detección de ideación suicida o la latencia en escalar a operadores humanos—, los auditores independientes no pueden verificar si estos sistemas cumplen siquiera con estándares básicos de confiabilidad. La falta de transparencia también obstaculiza a los organismos reguladores que buscan aplicar marcos emergentes de seguridad en IA, como el Reglamento de IA de la UE, el cual enfatiza los sistemas de alto riesgo pero deja margen para interpretaciones en aplicaciones de salud mental.

Desde una perspectiva política, la situación se sitúa en la intersección entre la protección al consumidor, la regulación de la atención médica y la gobernanza de la IA. En Estados Unidos, la FDA ha comenzado a tratar ciertas herramientas de diagnóstico impulsadas por IA como dispositivos médicos, pero la mayoría de los chatbots escapan a la regulación, clasificados como productos de "bienestar general". Esta categorización evita pruebas rigurosas previas al mercado, permitiendo que modelos potencialmente inseguros lleguen a poblaciones vulnerables. Mientras tanto, las enmiendas pendientes al Reglamento de IA de la UE proponen categorías de riesgo explícitas para la IA utilizada en asesoramiento psicológico, pero la legislación aún está a meses de entrar en vigor.

¿Qué se puede hacer ahora? Los expertos recomiendan un enfoque de múltiples frentes. En primer lugar, las empresas deberían adoptar un modelo de "ficha técnica de seguridad", publicando registros detallados de interacciones relacionadas con crisis, anonimizados para proteger la privacidad, junto con tasas de fallos. En segundo lugar, las auditorías de terceros deberían ser obligatorias antes de que un chatbot pueda afirmar tener capacidades de intervención en crisis. Por último, los reguladores deben aclarar que cualquier sistema de IA que interactúe directamente con usuarios en emergencias de salud mental debe ser considerado de alto riesgo, sujeto a validación previa al despliegue y vigilancia continua posterior al mercado.

Si se toman estas medidas, el ecosistema de IA podría pasar de una postura reactiva —parcheando fallos después de que ocurren— a una actitud proactiva que integre la seguridad en el diseño y despliegue de agentes conversacionales. Hasta entonces, los clínicos advierten que depender de chatbots para apoyo en crisis sigue siendo una apuesta arriesgada, una que podría costar vidas si no se controla.

Foto: Amelia Lowell / Unsplash (https://unsplash.com/@keyhealthcare)