KI-Coding-Agenten benötigen in den meisten Fällen noch menschliche Nacharbeit

KI-Coding-Agenten benötigen in den meisten Fällen noch menschliche Nacharbeit. Ein Benchmark, der aus echten Änderungsanfragen von Nutzern erstellt wurde, zeigt, dass das beste Modell, GPT‑6 Astra, laut The Decoder nur 26,4 % der Aufgaben vollständig löst.

Was ist passiert

Laut The Decoder haben Forscher von Alibaba und mehreren asiatischen Universitäten den Co‑Design Bench erstellt, einen Test, bei dem Coding-Agenten aufgefordert werden, bestehende Web-Apps mithilfe verschiedener Eingaben wie Bildern, Audio, Video oder Dokumenten umzugestalten. Zehn Modelle wurden bewertet; GPT‑6 Astra erfüllte im Durchschnitt etwa 70 % der Anforderungen einer Aufgabe, lieferte aber nur in 26,4 % der Fälle ein vollständig korrektes Ergebnis. Die nächstbesten Modelle waren Claude Opus 5 und Qwen3.8‑Max, während Grok 4.6 den letzten Platz belegte. Der Benchmark betont eine strenge Bewertung: Ein KI-Richter führt die fertige App in einem Browser aus, und ein zweiter Richter prüft jedes positive Urteil anhand von Mock-ups oder hartkodierten Ergebnissen.

Die Leistung sank, je mehr Änderungstypen (Layout, Design, Interaktion, Inhalt) in den Aufgaben kombiniert wurden, was die Komplexität realer Projekte widerspiegelt. Zusätzliche Rechenleistung half nicht; GLM‑5.2 verbrauchte bei kleineren Änderungen fast das Sechsfache der Tokens von GPT‑6 Astra, erzielte aber schlechtere Ergebnisse. Die Studie ergab auch, dass das Harness (die Umgebung, in der der Agent Code liest, schreibt und ausführt) die Ergebnisse stark beeinflussen kann – Qwen3.8‑27B erzielte in einem Harness 75 %, in einem anderen jedoch nur 56 %.

Warum das für kleine Marketing-Teams wichtig ist

Für ein kleines Unternehmen, das auf schnelle Website-Anpassungen, Landing-Page-Experimente oder interne Tools angewiesen ist, ist die aufsehenerregende Behauptung, dass KI von Anfang bis Ende coden kann, verfrüht. Der Benchmark zeigt, dass selbst die stärksten Agenten in drei Vierteln der Anfragen mindestens ein Detail unvollendet lassen, sodass der „No-Code“-Shortcut eines Marketiers weiterhin einen Entwickler oder technisch versierten Mitarbeiter erfordert, der das Ergebnis überprüft und korrigiert. Diese zusätzliche Betreuung untergräbt den Geschwindigkeitsvorteil, den KI verspricht, und fügt versteckte Arbeitskosten hinzu, die Kampagnenzeitpläne, Markenkonsistenz und Budgetprognosen beeinflussen können. Darüber hinaus bedeuten die umgebungsabhängigen Ergebnisse, dass die bloße Auswahl eines Modells nicht ausreicht; Teams müssen die gesamte Toolchain testen, bevor sie ihr kundenseitige Änderungen anvertrauen.

Was diese Woche zu tun ist

1. Wählen Sie eine niedrigrisikobehaftete Webseite (z. B. eine interne FAQ) und führen Sie einen KI-Coding-Agenten für eine einzelne Änderung aus; lassen Sie dann einen Entwickler 30 Minuten damit verbringen, das Ergebnis anhand einer Checkliste zu überprüfen.
2. Erstellen Sie eine einfache QA-Checkliste nach der Generierung (Funktionalität, Designkonsistenz, hartkodierte Daten), die jeder KI-generierte Code vor der Veröffentlichung bestehen muss.
3. Führen Sie dieselbe Aufgabe in zwei verschiedenen Harnesses durch (falls Ihre Plattform diese anbietet) und vergleichen Sie die Ergebnisse, um zu sehen, welche Umgebung weniger manuelle Korrekturen erfordert.

Quellen

• AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test — The Decoder