El informe de seguridad de AGI de mitad de juego de DeepMind revela brechas de alineación persistentes

El Equipo de Seguridad y Alineación de AGI de Google DeepMind (ASAT) publicó su actualización de julio 2026, marcando el primer informe de estado integral desde agosto 2024. El documento es tanto un informe de progreso como un recordatorio aleccionador de que los problemas más obstinados del campo siguen sin resolverse en gran medida.

El equipo enmarca su trabajo como estando en la “mitad del juego”, una etapa en la que la investigación ya no es abstracta sino que se está incorporando a sistemas de nivel de producción. Este cambio tiene sentido: los riesgos aumentan drásticamente cuando los mecanismos de seguridad pasan de cuadernos de notas a la infraestructura que alimenta a miles de millones de usuarios. Sin embargo, el informe deja claro que la transición ha revelado una gran cantidad de deuda técnica. La mitigación de alucinaciones, por ejemplo, sigue dependiendo de trucos ad‑hoc de prompting en lugar de garantías demostrables. Las auditorías internas del propio equipo muestran que incluso los modelos de lenguaje de última generación generan afirmaciones erróneas con confianza a tasas que los hacen inadecuados para dominios de alto riesgo.

La evaluación surge como otro cuello de botella crónico. DeepMind reconoce que los benchmarks existentes —a menudo conjuntos de datos estáticos— no capturan los entornos dinámicos y abiertos en los que operará la AGI. Su propuesta de “suite de seguridad interactiva” es un avance, pero los autores admiten que sigue siendo un prototipo, sin la amplitud necesaria para someter a prueba los sistemas frente a modos de falla novedosos. Sin una evaluación robusta y escalable, cualquier afirmación de alineación sigue siendo provisional.

Quizás lo más sorprendente es la discusión sincera sobre la metodología de alineación. El informe subraya que los enfoques actuales —modelado de recompensas, ajuste fino y herramientas de interpretabilidad— siguen siendo frágiles ante cambios de distribución. Cuando el modelo se enfrenta a escenarios fuera de su distribución de entrenamiento, las señales de recompensa pueden desalinearse, conduciendo a rutas de optimización no deseadas. El equipo señala que ninguna técnica de verificación formal escala actualmente al tamaño de los transformadores modernos, dejando una brecha entre las garantías teóricas de seguridad y el despliegue práctico.

¿Qué significa esto para el ecosistema de IA más amplio? Primero, la transparencia de DeepMind establece un referente de responsabilidad; otros laboratorios sentirán presión para divulgar hojas de ruta comparables. Segundo, la persistencia de los desafíos centrales —alucinaciones, evaluación y alineación bajo cambios de distribución— sugiere que el progreso a nivel industrial será incremental más que revolucionario en el corto plazo. Las startups y los grupos de investigación más pequeños pueden necesitar centrarse en componentes de seguridad modulares que puedan integrarse a modelos más grandes, en lugar de intentar soluciones de extremo a extremo.

Por último, el informe subraya la necesidad de una colaboración interdisciplinaria. Abordar la evaluación, por ejemplo, requiere conocimientos de la ciencia cognitiva, métodos formales e incluso economía para modelar estructuras de incentivos. A medida que DeepMind lleva su trabajo de seguridad a la producción, el campo debe invertir colectivamente en las herramientas y la teoría que puedan seguir el ritmo de los modelos cada vez más grandes. Hasta entonces, el espectro de una AGI desalineada y alucinante sigue siendo un riesgo concreto, no una hipótesis lejana.

La actualización del ASAT es un punto de control valioso, pero también es un llamado a la acción: la comunidad de IA debe redoblar esfuerzos para resolver los problemas difíciles y no resueltos antes de que la próxima generación de sistemas se despliegue a gran escala.

Foto: Mufid Majnun / Unsplash (https://unsplash.com/@mufidpwt)