AI-coderingsagenten hebben nog steeds menselijke opschoning nodig voor de meeste taken

AI-coderingsagenten hebben nog steeds menselijke opschoning nodig voor de meeste taken. Een benchmark gebouwd op echte gebruikersverzoeken voor wijzigingen toont aan dat het beste model, GPT-6 Astra, slechts 26,4% van de taken volledig oplost, aldus The Decoder.

Wat er gebeurde

The Decoder rapporteert dat onderzoekers van Alibaba en enkele Aziatische universiteiten Co-Design Bench hebben ontwikkeld, een test die coderingsagenten vraagt om bestaande webapps te herwerken met behulp van diverse invoer zoals afbeeldingen, audio, video of documenten. Tien modellen werden geëvalueerd; GPT-6 Astra voldeed gemiddeld aan ongeveer 70% van de vereisten van een taak, maar leverde slechts in 26,4% van de gevallen een volledig correct resultaat. De volgende beste modellen waren Claude Opus 5 en Qwen3.8-Max, terwijl Grok 4.6 laatste eindigde. De benchmark benadrukt strikte beoordeling: één AI-rechter voert de afgeronde app uit in een browser, en een tweede rechter verifieert elk positief oordeel tegen mock-ups of hard-gecodeerde resultaten.

De prestaties daalden naarmate taken meer wijzigingstypes combineerden (lay-out, ontwerp, interactie, inhoud), wat de complexiteit van echte projecten weerspiegelt. Extra berekeningskracht hielp niet; GLM-5.2 verbruikte bijna zes keer zoveel tokens als GPT-6 Astra bij kleinere wijzigingen, maar scoorde slechter. Het onderzoek vond ook dat de harness (de omgeving waarin de agent code leest, schrijft en uitvoert) de resultaten kan beïnvloeden—Qwen3.8-27B scoorde 75% in één harness, maar slechts 56% in een andere.

Waarom dit belangrijk is voor kleine marketingteams

Voor een klein bedrijf dat vertrouwt op snelle website-aanpassingen, landing page-experimenten of interne tools, is de opvallende claim dat AI van begin tot eind kan coderen prematuur. De benchmark toont aan dat zelfs de sterkste agenten in driekwart van de verzoeken minstens één detail onafgemaakt laten, zodat de 'no-code'-shortcut van een marketeer nog steeds een ontwikkelaar of technisch onderlegd teamlid vereist om de output te beoordelen en te corrigeren. Die extra begeleiding ondermijnt het snelheidsvoordeel dat AI belooft en voegt verborgen arbeidskosten toe, wat van invloed kan zijn op campagnetijdlijnen, merkconsistentie en budgetprognoses. Bovendien betekenen de omgevingsafhankelijke resultaten dat het simpelweg kiezen van een model niet genoeg is; teams moeten de volledige toolchain testen voordat ze hem vertrouwen met klantgerichte wijzigingen.

Wat je deze week moet doen

1. Kies een webpagina met laag risico (bijv. een interne FAQ) en laat een AI-coderingsagent één wijziging uitvoeren; laat vervolgens een ontwikkelaar 30 minuten besteden aan het beoordelen van de output aan de hand van een checklist.
2. Maak een eenvoudige QA-checklist na generatie (functionaliteit, ontwerpconsistentie, hard-gecodeerde data) waaraan alle door AI gegenereerde code moet voldoen voordat deze wordt gepubliceerd.
3. Voer dezelfde taak uit in twee verschillende harnesses (als je platform die aanbiedt) en vergelijk de resultaten om te zien welke omgeving minder handmatige correcties oplevert.

Bronnen

• AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test — The Decoder