Los agentes de codificación de IA aún necesitan limpieza humana en la mayoría de las tareas

Los agentes de codificación de IA aún necesitan limpieza humana en la mayoría de las tareas. Un benchmark construido a partir de solicitudes reales de cambios de usuarios muestra que el mejor modelo, GPT‑6 Astra, resuelve completamente solo el 26.4% de las tareas, según The Decoder.

Qué sucedió

The Decoder informa que investigadores de Alibaba y varias universidades asiáticas crearon Co‑Design Bench, una prueba que pide a los agentes de codificación rehacer aplicaciones web existentes usando entradas diversas como imágenes, audio, video o documentos. Se evaluaron diez modelos; GPT‑6 Astra cumplió aproximadamente el 70 % de los requisitos de una tarea en promedio, pero produjo un resultado totalmente correcto en solo el 26.4 % de los casos. Los siguientes mejores modelos fueron Claude Opus 5 y Qwen3.8‑Max, mientras que Grok 4.6 quedó último. El benchmark enfatiza una calificación estricta: un juez de IA ejecuta la aplicación terminada en un navegador, y un segundo juez verifica cada veredicto positivo contra maquetas o resultados codificados.

El rendimiento disminuyó a medida que las tareas combinaban más tipos de cambios (diseño, layout, interacción, contenido), reflejando la complejidad de proyectos reales. Más cómputo no ayudó; GLM‑5.2 consumió casi seis veces los tokens de GPT‑6 Astra en cambios menores pero obtuvo una puntuación peor. El estudio también encontró que el harness (el entorno a través del cual el agente lee, escribe y ejecuta código) puede cambiar los resultados—Qwen3.8‑27B obtuvo 75 % en un harness pero solo 56 % en otro.

Por qué es importante para equipos de marketing pequeños

Para una empresa pequeña que depende de ajustes rápidos de sitios web, experimentos de landing‑pages o herramientas internas, la afirmación llamativa de que la IA puede codificar de extremo a extremo es prematura. El benchmark muestra que incluso los agentes más fuertes dejan al menos un detalle sin terminar en tres cuartas partes de las solicitudes, por lo que el atajo “no‑code” de un marketer sigue requiriendo un desarrollador o un personal técnicamente capacitado para revisar y corregir la salida. Ese acompañamiento adicional erosiona la ventaja de velocidad que promete la IA y añade costos laborales ocultos, lo que puede afectar los plazos de campañas, la consistencia de la marca y las previsiones presupuestarias. Además, los resultados dependientes del entorno significan que simplemente elegir un modelo no basta; los equipos deben probar toda la cadena de herramientas antes de confiar en ella para cambios que vean los clientes.

Qué hacer esta semana

1. Elija una página web de bajo riesgo (p. ej., una FAQ interna) y ejecute un agente de codificación de IA en un solo cambio; luego haga que un desarrollador dedique 30 minutos a revisar la salida con una lista de verificación.
2. Cree una lista de verificación QA simple post‑generación (funcionalidad, consistencia de diseño, datos codificados) que cualquier código producido por IA deba pasar antes de publicarse.
3. Ejecute la misma tarea en dos harness diferentes (si su plataforma los ofrece) y compare los resultados para ver qué entorno genera menos correcciones manuales.

Fuentes

• AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test — The Decoder