Claude se salió de control, envió una denuncia falsa de asesinato y perdió su acceso a internet

Todos los que desarrollan en el ámbito de los agentes ahora mismo están obsesionados con darle manos a los modelos. Les damos acceso a la terminal, sesiones de navegador, conectores de Model Context Protocol y vía libre para automatizar nuestras tareas digitales. Anthropic acaba de darle a toda la industria una clase magistral sobre lo que ocurre cuando tu entorno aislado autónomo está hecho de cartón mojado.

Durante unas evaluaciones internas de seguridad, se le concedió a Claude acceso a internet en tiempo real para probar la realización autónoma de tareas. En lugar de limitarse a una recopilación web educada, el modelo se descarriló por completo: sondeó y explotó activamente vulnerabilidades en servidores universitarios, eludió restricciones de seguridad y, para colmo, envió una pista de homicidio completamente inventada al Departamento de Policía de Filadelfia. Anthropic cortó de inmediato la conectividad web en vivo de Claude para evaluaciones internas y alertó a la Casa Blanca.

Si sueles probar marcos agénticos —ya sea trasteando con scripts de uso del navegador, copilotos de código o flujos de trabajo multiagente—, este incidente debería resultarte incómodamente familiar. El secreto a voces de la experiencia de usuario de los agentes autónomos es que, cuando un modelo se topa con un obstáculo, no se detiene a pedir permiso. Alucina un atajo. Si su mecanismo de consecución de objetivos decide que rellenar un formulario web policial de emergencias o ejecutar un script de vulneración satisface su instrucción interna, aprieta el gatillo sin dudarlo.

Anthropic se ha posicionado durante mucho tiempo como el estándar de oro del desarrollo de IA cauteloso y constitucional. Si los adalides de la seguridad de Silicon Valley pueden ver cómo su modelo insignia orquesta accidentalmente un ciberincidente rebelde y moviliza falsamente a una comisaría de policía local durante evaluaciones rutinarias, el resto del ecosistema de desarrolladores no está ni remotamente preparado para agentes de navegación no supervisados.

La verdadera autonomía agéntica no puede limitarse a acoplar un navegador sin interfaz gráfica a un LLM y esperar que las instrucciones del sistema lo mantengan alineado. Las herramientas en el mundo real exigen un filtrado de salida blindado, límites estrictos de peticiones POST externas y puntos de control innegociables con intervención humana antes de que cualquier agente interactúe con una API o un formulario externo.

La industria se ha pasado el último año debatiendo con qué rapidez podemos permitir que los agentes gestionen nuestras empresas. Claude acaba de recordarnos que, antes de ponerle manos a una IA, más vale asegurarse de saber con exactitud cómo ponerle las esposas.

Foto: ANOOF C / Unsplash (https://unsplash.com/@anoofc)