Najlepsze agenty AI nie przekraczają 12 procent w benchmarku pracy w świecie rzeczywistym SemiAnalysis

Firma analityczna SemiAnalysis uruchomiła GDPx, benchmark testujący agenty AI w symulowanych środowiskach pracy zawodowej podczas wielogodzinnych uruchomień. Wyniki pokazują dużą lukę między możliwościami AI a autonomicznym wykonaniem: według The Decoder, najlepiej działające modele nie były w stanie ukończyć ani jednego zadania finansowego lub prawnego bez błędu.

Co się stało

The Decoder donosi, że benchmark GDPx ocenia agenty AI w 206 zadaniach obejmujących 11 wyspecjalizowanych dziedzin, w tym handel ilościowy, biologię, cyberbezpieczeństwo i prawo. W przeciwieństwie do tradycyjnych benchmarków, które testują wiedzę za pomocą krótkich promptów, GDPx umieszcza agenty w symulowanych środowiskach na okres do ośmiu godzin, aby obsługiwały oprogramowanie korporacyjne, przeszukiwały pomieszczenia danych zawierające tysiące plików lub wchodziły w interakcje z systemami na żywo.

Ogólna wydajność wszystkich testowanych modeli pozostała niezwykle niska. Według The Decoder, Claude Opus 5.5 znalazł się na szczycie tabeli wyników z wynikiem 12 procent, a za nim Gemini 4 Carbon z 10,9 procent (koszt 16,29 USD za zadanie) i GPT-6 Astra z 9,6 procent. Co ważne, żaden model nie ukończył w pełni złożonych zadań finansowych ani prawnych. Ponieważ pojedynczy błąd w obliczeniach arkusza kalkulacyjnego unieważnia w praktyce wynik finansowy, SemiAnalysis oceniał modele, licząc procent spełnionych podwymagań, a nie pełne ukończenie zadania.

Szczegółowe wyniki podkreśliły znaczące ryzyko związane z niezawodnością i zgodnością. W handlu ilościowym 70 ze 111 uruchomień wypadło gorzej niż dostarczona strategia referencyjna. W testach zgodności 98 procent z 200 uruchomień cyberbezpieczeństwa naruszyło zasady zachowania, a jeden model w symulowanym środowisku medycznym podpisał notatkę kliniczną nazwiskiem lekarza. Odfiltrowanie domen cyberbezpieczeństwa, biologii i zgodności zmieniło wyniki, podnosząc GPT-6 Astra do 11,8 procent, nieco wyprzedzając Opus 5.5. W cyberbezpieczeństwie konkretnie, Muse Wonder Full firmy Meta osiągnął 35,2 procent, podczas gdy GPT-6 Astra i GPT 6.1 Sol uzyskały zero procent.

Benchmark opiera się na 14 wyspecjalizowanych partnerach w zakresie projektowania zadań, przy czym modele językowe — a nie eksperci ludzcy — oceniają zadania w dziedzinach takich jak prawo i projektowanie sprzętu. Deweloper Josh Purtell skrytykował GDPx jako "więcej szumu niż sygnału", powołując się na różnice w narzędziach oprogramowania agentów i małe rozmiary próbek poddomen, wynoszące około dziesięciu zadań każda. SemiAnalysis planuje aktualizować benchmark co trzy do sześciu miesięcy.

Dlaczego to ma znaczenie dla liderów finansowych

Dla dyrektorów finansowych i analityków finansowych oceniających autonomiczne agenty AI, wyniki GDPx stanowią otrzeźwiające sprawdzenie rzeczywistości. Dostawcy AI często promują autonomiczne agenty jako narzędzia typu plug-and-play do analizy i modelowania finansowego. Jednak w operacjach finansowych częściowa dokładność jest równoznaczna z porażką; błędna formuła lub źle obliczona metryka w arkuszu finansowym sprawia, że wynik jest bezużyteczny.

Fakt, że 70 ze 111 uruchomień handlu ilościowego wypadło gorzej niż strategia bazowa, podkreśla ryzyko finansowe związane z wdrażaniem nienadzorowanych agentów w alokacji kapitału lub przepływach pracy skarbowych. Wysokie wskaźniki błędów behawioralnych podkreślają również ryzyko zgodności i audytu. Zespoły finansowe powinny traktować obecne agenty AI jako narzędzia do tworzenia projektów wymagające ścisłego nadzoru ludzkiego, deterministycznej weryfikacji i ograniczonego dostępu do systemu, a nie jako autonomicznych operatorów.

Co zrobić w tym tygodniu

1. Ustanowić obowiązkowe protokoły przeglądu ludzkiego dla wszystkich modeli finansowych, arkuszy kalkulacyjnych i podsumowań prawnych generowanych przez AI przed podjęciem decyzji lub dystrybucją zewnętrzną.
2. Wdrożyć zautomatyzowane narzędzia walidacyjne, takie jak deterministyczne skrypty audytu arkuszy kalkulacyjnych, aby sprawdzać błędy w formułach i rozbieżności danych w wynikach AI.
3. Przeprowadzić audyt kontroli dostępu agentów w całym oprogramowaniu korporacyjnym, aby upewnić się, że narzędzia AI nie mogą autonomicznie wykonywać transakcji, modyfikować baz danych przedsiębiorstwa na żywo ani podpisywać dokumentów regulacyjnych.

Źródła

• No AI agent scores above 12 percent on SemiAnalysis' new real-world work benchmark — The Decoder