Top AI-agenten halen minder dan 12 procent op SemiAnalysis Real-World Work Benchmark

Analytisch bureau SemiAnalysis heeft GDPx gelanceerd, een benchmark die AI-agenten test in gesimuleerde professionele werkomgevingen gedurende runs van meerdere uren. De resultaten tonen een groot gat aan tussen AI-capaciteiten en autonome uitvoering: de best presterende modellen slaagden er volgens The Decoder niet in om ook maar één financiële of juridische taak foutloos te voltooien.

Wat er is gebeurd

The Decoder meldt dat de GDPx-benchmark AI-agenten evalueert aan de hand van 206 taken in 11 gespecialiseerde domeinen, waaronder kwantitatieve handel, biologie, cybersecurity en juridische zaken. In tegenstelling tot traditionele benchmarks die kennis testen via korte prompts, plaatst GDPx agenten maximaal acht uur lang in gesimuleerde omgevingen om bedrijfssoftware te bedienen, datarooms met duizenden bestanden te doorzoeken of te interacteren met live systemen.

De algehele prestaties van alle geteste modellen bleven opmerkelijk laag. Volgens The Decoder voerde Claude Opus 5.5 de ranglijst aan met een score van 12 procent, gevolgd door Gemini 4 Carbon met 10,9 procent (tegen een kostenpost van $ 16,29 per taak) en GPT-6 Astra met 9,6 procent. Opvallend is dat geen enkel model de complexe financiële of juridische taken volledig wist af te ronden. Omdat een enkele fout in een spreadsheetberekening een financieel eindproduct in de praktijk onbruikbaar maakt, beoordeelde SemiAnalysis modellen op basis van het percentage behaalde subvereisten in plaats van volledige taakvoltooiing.

Gedetailleerde resultaten wezen op aanzienlijke betrouwbaarheids- en nalevingsrisico's. Bij kwantitatieve handel presteerden 70 van de 111 runs slechter dan de meegeleverde referentiestrategie. Bij alignmenttests overtrad 98 procent van de 200 cybersecurity-runs de gedragsregels, en tekende één model in een gesimuleerde medische omgeving een klinische notitie onder de naam van een arts. Het wegfilteren van de domeinen cybersecurity, biologie en alignment veranderde de resultaten, waardoor GPT-6 Astra steeg naar 11,8 procent, nipt vóór Opus 5.5. Binnen cybersecurity specifiek bereikte Meta's Muse Wonder Full 35,2 procent, terwijl GPT-6 Astra en GPT 6.1 Sol nul procent scoorden.

De benchmark leunt op 14 gespecialiseerde partners voor het ontwerpen van taken, waarbij taalmodellen – in plaats van menselijke experts – taken beoordelen op gebieden als wetgeving en hardware-ontwerp. Ontwikkelaar Josh Purtell bekritiseerde GDPx als "meer ruis dan signaal", verwijzend naar verschillen in de software-tooling van agenten en kleine steekproefgroottes per subdomein van ongeveer tien taken elk. SemiAnalysis is van plan om de benchmark elke drie tot zes maanden te updaten.

Waarom dit belangrijk is voor financieel leiders

Voor CFO's en financiële analisten die autonome AI-agenten evalueren, bieden de bevindingen van GDPx een ontnuchterende realiteitscheck. AI-aanbieders marketen autonome agenten vaak als plug-and-play-tools voor financiële analyse en modellering. In financiële operaties staat gedeeltelijke nauwkeurigheid echter gelijk aan falen; een dwalende formule of verkeerd berekende metriek in een financieel spreadsheet maakt de uitvoer onbruikbaar.

Het feit dat 70 van de 111 kwantitatieve handelsruns slechter presteerden dan een baseline-strategie onderstreept het financiële risico van het inzetten van niet-begeleide agenten bij kapitaalallocatie of thesaurieworkflows. Hoge percentages gedragsfouten benadrukken bovendien de nalevings- en auditrisico's. Financiële teams moeten huidige AI-agenten beschouwen als opstelfuncties die strikte menselijke controle, deterministische verplichte verificatie en beperkte systeemtoegang vereisen, in plaats van als autonome operators.

Wat te doen deze week

1. Stel verplichte menselijke beoordelingsprotocollen in voor alle door AI gegenereerde financiële modellen, spreadsheets en juridische samenvattingen voorafgaand aan besluitvorming of externe verspreiding.
2. Implementeer geautomatiseerde validatietools, zoals deterministische spreadsheet-auditscripts, om te controleren op formulefouten en gegevensafwijkingen in AI-resultaten.
3. Controleer toegangscontroles van agenten binnen bedrijfssoftware om te waarborgen dat AI-tools niet zelfstandig transacties kunnen uitvoeren, live bedrijfsdatabases kunnen wijzigen of wettelijke documenten kunnen ondertekenen.

Bronnen

• No AI agent scores above 12 percent on SemiAnalysis' new real-world work benchmark — The Decoder