Agenci kodujący AI wciąż potrzebują ludzkiego sprzątania w większości zadań

Agenci kodujący AI wciąż potrzebują ludzkiego sprzątania w większości zadań. Benchmark oparty na rzeczywistych żądaniach zmian od użytkowników pokazuje, że najlepszy model, GPT‑6 Astra, w pełni rozwiązuje jedynie 26,4% zadań, według The Decoder.

Co się stało

The Decoder informuje, że badacze z Alibaba i kilku azjatyckich uniwersytetów stworzyli Co‑Design Bench, test, który prosi agenty kodujące o przerobienie istniejących aplikacji internetowych przy użyciu różnorodnych danych wejściowych, takich jak obrazy, dźwięk, wideo czy dokumenty. Oceniło się dziesięć modeli; GPT‑6 Astra spełniał średnio około 70% wymagań zadania, ale w pełni poprawny wynik uzyskał jedynie w 26,4% przypadków. Następne najlepsze modele to Claude Opus 5 i Qwen3.8‑Max, natomiast Grok 4.6 zajął ostatnie miejsce. Benchmark podkreśla rygorystyczną ocenę: jeden sędzia AI uruchamia gotową aplikację w przeglądarce, a drugi sędzia weryfikuje każdy pozytywny werdykt względem makiet lub wyników zakodowanych na stałe.

Wydajność spadała, gdy zadania łączyły więcej typów zmian (układ, projekt, interakcja, treść), odzwierciedlając złożoność rzeczywistych projektów. Dodatkowa moc obliczeniowa nie pomogła; GLM‑5.2 zużywał prawie sześć razy więcej tokenów niż GPT‑6 Astra przy mniejszych zmianach, a mimo to uzyskał gorszy wynik. Badanie wykazało również, że środowisko (harness), czyli otoczenie, w którym agent odczytuje, zapisuje i wykonuje kod, może znacząco wpływać na wyniki — Qwen3.8‑27B uzyskał 75% w jednym środowisku, a tylko 56% w innym.

Dlaczego ma to znaczenie dla małych zespołów marketingowych

Dla małej firmy, która polega na szybkich modyfikacjach stron internetowych, eksperymentach z landing‑page’ami lub narzędziach wewnętrznych, przyciągające uwagę stwierdzenie, że AI może kodować od początku do końca, jest przedwczesne. Benchmark pokazuje, że nawet najsilniejsze agenty pozostawiają co najmniej jeden szczegół niewykonany w trzech czwartych żądań, więc skrót „no‑code” marketera wciąż wymaga dewelopera lub technicznie obeznanego pracownika do przeglądu i naprawy wyników. To dodatkowe wsparcie podważa przewagę prędkości obiecywaną przez AI i dodaje ukryte koszty pracy, które mogą wpływać na terminy kampanii, spójność marki i prognozy budżetowe. Co więcej, wyniki zależne od środowiska oznaczają, że samo wybranie modelu nie wystarczy; zespoły muszą przetestować cały łańcuch narzędzi przed zaufaniem mu w zmianach skierowanych do klientów.

Co zrobić w tym tygodniu

1. Wybierz stronę o niskim ryzyku (np. wewnętrzne FAQ) i uruchom agenta kodującego AI na jednej zmianie; następnie poproś dewelopera, aby poświęcił 30 minut na przegląd wyniku według listy kontrolnej.
2. Stwórz prostą listę kontrolną QA po generacji (funkcjonalność, spójność projektu, dane zakodowane na stałe), którą każdy kod wygenerowany przez AI musi przejść przed publikacją.
3. Wykonaj to samo zadanie w dwóch różnych środowiskach (jeśli Twoja platforma je oferuje) i porównaj wyniki, aby zobaczyć, które środowisko generuje mniej ręcznych poprawek.

Źródła

• AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test — The Decoder