Les agents de codage IA ont encore besoin d'une intervention humaine pour la plupart des tâches

Les agents de codage IA ont encore besoin d'une intervention humaine pour la plupart des tâches. Un benchmark construit à partir de demandes de modification réelles montre que le meilleur modèle, GPT‑6 Astra, résout entièrement seulement 26,4 % des tâches, selon The Decoder.

Ce qui s'est passé

The Decoder rapporte que des chercheurs d’Alibaba et de plusieurs universités asiatiques ont créé le Co‑Design Bench, un test qui demande aux agents de codage de retravailler des applications web existantes en utilisant des entrées diverses telles que des images, de l’audio, de la vidéo ou des documents. Dix modèles ont été évalués ; GPT‑6 Astra a satisfait en moyenne environ 70 % des exigences d’une tâche mais n’a produit un résultat entièrement correct que dans 26,4 % des cas. Les modèles suivants les plus performants étaient Claude Opus 5 et Qwen3.8‑Max, tandis que Grok 4.6 était classé dernier. Le benchmark met l’accent sur une notation stricte : un juge IA exécute l’application terminée dans un navigateur, et un second juge vérifie chaque verdict positif à l’aide de maquettes ou de résultats codés en dur.

Les performances ont diminué lorsque les tâches combinaient davantage de types de modifications (mise en page, design, interaction, contenu), reflétant la complexité des projets réels. Un calcul supplémentaire n’a pas aidé ; GLM‑5.2 a consommé près de six fois le nombre de tokens de GPT‑6 Astra sur de petites modifications tout en obtenant un score inférieur. L’étude a également montré que le harness (l’environnement par lequel l’agent lit, écrit et exécute le code) peut faire varier les résultats — Qwen3.8‑27B a obtenu 75 % dans un harness mais seulement 56 % dans un autre.

Pourquoi cela importe aux petites équipes marketing

Pour une petite entreprise qui dépend de modifications rapides de sites web, d’expérimentations de pages d’atterrissage ou d’outils internes, l’affirmation accrocheuse selon laquelle l’IA peut coder de bout en bout est prématurée. Le benchmark montre que même les agents les plus performants laissent au moins un détail inachevé dans les trois quarts des demandes, de sorte que le raccourci « no‑code » d’un marketeur nécessite toujours un développeur ou un membre du personnel techniquement compétent pour examiner et corriger le résultat. Cette prise en charge supplémentaire érode l’avantage de rapidité promis par l’IA et ajoute des coûts de main‑d’œuvre cachés, pouvant affecter les calendriers de campagne, la cohérence de la marque et les prévisions budgétaires. De plus, les résultats dépendant de l’environnement signifient que choisir simplement un modèle ne suffit pas ; les équipes doivent tester l’ensemble de la chaîne d’outils avant de lui faire confiance pour des changements visibles par les clients.

Que faire cette semaine

1. Choisissez une page web à faible risque (par ex., une FAQ interne) et lancez un agent de codage IA sur une modification unique ; faites ensuite réviser le résultat par un développeur pendant 30 minutes à l’aide d’une checklist.
2. Créez une checklist QA simple post‑génération (fonctionnalité, cohérence du design, données codées en dur) que tout code produit par l’IA doit valider avant publication.
3. Exécutez la même tâche dans deux harnesses différents (si votre plateforme en propose) et comparez les résultats pour voir quel environnement génère moins de corrections manuelles.

Sources

• AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test — The Decoder