Anthropic's Fable 5.2 erledigt 41 Prozent echter Freelance-Jobs im Branchen-Benchmark

Anthropic’s Fable 5.2 Modell kann laut Benchmark-Ergebnissen, die von The Decoder gemeldet wurden, nun 41,3 Prozent echter Freelance-Aufträge auf professionellem Niveau erledigen. Das ist ein massiver Sprung gegenüber dem Stand vor nur einem Jahr, als die leistungsstärksten KI-Agenten nur 2,5 Prozent der realen Freelance-Projekte abschlossen. Der Benchmark bewertet Modelle anhand tatsächlicher Upwork-Verträge, die mehrstufige Arbeitsabläufe in Design-, Audio- und 3D-Modellierungssoftware erfordern.

Was ist passiert

The Decoder berichtet, dass Scale Labs und das Center for AI Safety (CAIS) die neuesten Ergebnisse für ihren Remote Labor Index (RLI) veröffentlicht haben, der KI-Modelle anhand von 240 realen Upwork-Projekten testet, die von 358 verifizierten Fachleuten abgeschlossen wurden. Diese Aufträge – im Gesamtwert von etwa 144.000 US-Dollar, durchschnittlich 632,60 US-Dollar pro Projekt und mit einem geschätzten menschlichen Arbeitsaufwand von 29 Stunden – umfassen Aufgaben wie CAD-Design, Videobearbeitung, Spieleentwicklung und Datenanalyse. Agenten agieren in einer virtuellen Umgebung, die mit professioneller Software wie Blender, GIMP und Audacity sowie spezialisierten KI-Generierungstools vorinstalliert ist.

Anthropic’s Fable 5.2 erreichte eine Abschlussrate von 41,3 Prozent und ließ konkurrierende Modelle weit hinter sich. Laut The Decoder belegte Anthropic’s Opus 5.5 mit 21,25 Prozent den zweiten Platz, dicht gefolgt von OpenAI’s GPT 6 Astra mit 20,83 Prozent und Google’s Gemini Argon 4 mit 17,08 Prozent. Ältere Modelle wie GPT-5.2 und Gemini 3 Pro erledigten weniger als drei Prozent der Aufträge. Scale Labs bemerkte auf X, dass Fable 5.2 die größten Fortschritte in der Audio- und Musikbearbeitung, im Architektur- und Interior Design sowie in der 3D-Modellierung erzielte und fast 50 Projekttypen erfolgreich abschloss, die kein früherer KI-Agent bestanden hatte.

Der Benchmark zeigte jedoch erhebliche Grenzen auf. Scale Labs bemerkte, dass Fable 5.2 immer noch Schwierigkeiten mit Animationen und dem industriellen Produktdesign hat. Wenn KI-Agenten im Test versagen, liefern sie laut CAIS-Forschern Arbeiten von Amateurqualität, unvollständige Ergebnisse, beschädigte Dateien oder widersprüchliche Designs. Darüber hinaus scheiterten Versuche, den Bewertungsprozess mithilfe von KI-Reviewern zu automatisieren, da die Evaluator-Modelle trotz zugrunde liegender technischer Mängel leicht durch oberflächlichen visuellen Glanz getäuscht wurden.

Warum es für den Betrieb kleiner Unternehmen wichtig ist

Wenn Sie den Betrieb leiten oder kreative Freelancer für ein kleines Unternehmen einstellen, ist dieser Punktesprung ein Signal dafür, dass KI-Agenten von der einfachen Textergänzung zur Handhabung funktionaler, mehrstufiger Asset-Erstellung übergehen. Eine Erfolgsquote von 41 Prozent bei komplexen Aufgaben, die durchschnittlich 29 menschliche Stunden erfordern, bedeutet, dass Agenten realistisch bei vorläufigen Entwurfsarbeiten, grundlegender 3D-Modellierung oder routinemäßiger Audiobereinigung helfen können.

Sie sollten Ihre Freelancer jedoch noch nicht entlassen. Die Misserfolgsquote von 58,7 Prozent beweist, dass Agenten immer noch regelmäßig unbrauchbare Dateien, unvollständige Ergebnisse und Amateurdesigns generieren. Da CAIS außerdem gezeigt hat, dass automatisierte KI-Prüfer technische Mängel, die sich hinter schönen Oberflächen verbergen, nicht erkennen, muss ein erfahrener menschlicher Experte jedes einzelne Ergebnis in der tatsächlichen Software überprüfen, bevor es in Produktion geht. Für kleine Teams besteht die praktische Strategie darin, Agenten für grobe Entwürfe und modulare Aufgaben vorzubereiten, während erfahrene Fachleute für die Überprüfung und Zusammenstellung verantwortlich bleiben.

Was diese Woche zu tun ist

1. Überprüfen Sie die kreativen und technischen Outsourcing-Rückstände Ihres Unternehmens, um wiederkehrende Aufgaben unter 30 Stunden zu kennzeichnen, die 3D-Modellierung, Audiobearbeitung oder grundlegendes räumliches Design umfassen.
2. Legen Sie ein obligatorisches manuelles Überprüfungsprotokoll fest, das menschliche technische Leiter dazu verpflichtet, alle KI-unterstützten Ergebnisse in der nativen Software zu überprüfen, bevor sie freigegeben werden.
3. Testen Sie ein Agenten-Tool, das von hochleistungsfähigen Modellen wie Fable 5.2 angetrieben wird, an einem archivierten Freelance-Auftrag, um dessen vorläufige Ausgabe mit der Arbeit Ihres ursprünglichen Freelancers zu vergleichen.

Quellen

• Anthropic's Fable 5.2 completes 41 percent of real freelance jobs, up from 2.5 percent a year ago — The Decoder