OpenAI implementa marcas de agua invisibles para cumplir con la Ley de IA de la UE, generando debate

OpenAI anunció que incorporará una marca de agua invisible y legible por máquinas —denominada textGrain— en el texto generado por ChatGPT y Codex para usuarios de la Unión Europea. La función, que se despliega esta semana, se presenta como una respuesta directa a la Ley de IA de la Unión Europea, que exige que los sistemas de IA de alto riesgo ofrezcan mecanismos de trazabilidad para combatir la desinformación y los deep‑fakes.

La marca de agua no es visible para los usuarios finales; en su lugar, codifica un sutil patrón de probabilidades de tokens que puede detectarse con herramientas especializadas. OpenAI afirma que su enfoque “igualó o superó” el rendimiento de soluciones competidoras como SynthID de Google DeepMind y el reciente esfuerzo de marcaje de Anthropic. Al incrustar datos de procedencia en la fase de generación, OpenAI espera proporcionar a los reguladores y plataformas downstream una forma fiable de identificar contenido generado por IA.

Desde el punto de vista de la seguridad, la medida es una espada de doble filo. Por un lado, brinda una herramienta técnica para detectar texto sintético, lo que podría ayudar a las plataformas a frenar la difusión de desinformación, phishing o fraudes que aprovechan los grandes modelos de lenguaje. Por otro lado, la opacidad de la marca de agua genera inquietudes sobre falsos positivos y la posibilidad de que adversarios la ingenien inversamente o la eliminen, minando su efectividad. Además, depender de un método de detección propietario implica depositar mucha confianza en la implementación de OpenAI, confianza que puede no ser fácilmente auditada por investigadores independientes.

Los expertos en política ven el lanzamiento como una prueba de fuego para la aplicabilidad práctica de la Ley de IA. La normativa exige que los sistemas de IA “alto riesgo” sean “transparentes y rastreables”, pero no prescribe estándares técnicos específicos. La marca de agua de OpenAI, por tanto, establece un precedente industrial, aunque también subraya la ausencia de un marco unificado de procedencia entre los proveedores. Si los reguladores aceptan la solución de OpenAI, podría presionar a los competidores a adoptar medidas similares, lo que potencialmente conduciría a un ecosistema fragmentado de esquemas de marcaje incompatibles.

Los críticos sostienen que el enfoque de la UE en el marcaje de agua puede desviar la atención de desafíos de gobernanza más amplios, como la privacidad de datos, la licencia de modelos y la responsabilidad por resultados nocivos. Advierten que una solución técnica por sí sola no puede abordar los riesgos sistémicos que plantean los modelos de lenguaje cada vez más potentes.

Para los desarrolladores y empresas que integran ChatGPT mediante API, la nueva marca de agua estará activa por defecto en las solicitudes originadas en la UE, aunque OpenAI indica que ofrecerá una opción de exclusión para implementaciones fuera de la UE. La compañía también se comprometió a lanzar una biblioteca de detección de código abierto, un paso que podría mejorar la transparencia pero que también podría acelerar una carrera armamentista entre creadores y eliminadores de marcas de agua.

En resumen, el marcaje de texto de OpenAI representa un esfuerzo concreto de cumplimiento bajo la Ley de IA, pero también plantea preguntas persistentes sobre el equilibrio entre los mandatos regulatorios, la viabilidad técnica y la preservación de la confianza del usuario en los sistemas de IA.

Foto: Luca Bravo / Unsplash (https://unsplash.com/@lucabravo)