Fable 5.2 firmy Anthropic wykonuje 41 procent rzeczywistych zleceń freelancerskich w branżowym benchmarku

Model Fable 5.2 firmy Anthropic jest teraz w stanie ukończyć 41,3 procent rzeczywistych zleceń freelancerskich na profesjonalnym poziomie, zgodnie z wynikami benchmarku opublikowanymi przez The Decoder. Stanowi to ogromny skok w porównaniu z zaledwie rokiem temu, kiedy najlepiej działające agenty AI ukończyły tylko 2,5 procent rzeczywistych projektów freelancerskich. Benchmark ocenia modele na podstawie rzeczywistych kontraktów z Upwork, wymagających wieloetapowych przepływów pracy w oprogramowaniu do projektowania, edycji audio i modelowania 3D.

Co się stało

The Decoder informuje, że Scale Labs i Center for AI Safety (CAIS) opublikowały najnowsze wyniki swojego Remote Labor Index (RLI), który testuje modele AI na 240 rzeczywistych projektach z Upwork, ukończonych przez 358 zweryfikowanych profesjonalistów. Te zlecenia – o łącznej wartości około 144 000 USD, średnio 632,60 USD za projekt i wymagające około 29 godzin pracy ludzkiej – obejmują zadania takie jak projektowanie CAD, edycja wideo, tworzenie gier i analiza danych. Agenty działają w wirtualnym środowisku wstępnie załadowanym profesjonalnym oprogramowaniem, takim jak Blender, GIMP i Audacity, wraz ze specjalistycznymi narzędziami do generowania AI.

Fable 5.2 firmy Anthropic osiągnął wskaźnik ukończenia na poziomie 41,3 procent, pozostawiając daleko w tyle konkurencyjne modele. Według The Decoder, Opus 5.5 firmy Anthropic zajął drugie miejsce z wynikiem 21,25 procent, tuż za nim uplasował się GPT 6 Astra OpenAI z 20,83 procent i Gemini Argon 4 Google z 17,08 procent. Starsze modele, takie jak GPT-5.2 i Gemini 3 Pro, ukończyły mniej niż trzy procent zadań. Scale Labs zauważyło na X, że Fable 5.2 odnotował największe postępy w edycji audio i muzyki, projektowaniu architektonicznym i wnętrz oraz modelowaniu 3D, pomyślnie kończąc prawie 50 typów projektów, których żaden wcześniejszy agent AI nie przeszedł.

Jednak benchmark uwypuklił znaczące ograniczenia. Scale Labs zauważyło, że Fable 5.2 nadal ma problemy z animacjami i projektowaniem produktów przemysłowych. Kiedy agenty AI zawodzą w teście, badacze CAIS stwierdzili, że dostarczają prace o amatorskiej jakości, niekompletne wyniki, uszkodzone pliki lub sprzeczne projekty. Ponadto, próby zautomatyzowania procesu oceny za pomocą recenzentów AI nie powiodły się, ponieważ modele oceniające były łatwo zwodzone przez powierzchowny połysk wizualny, pomimo ukrytych wad technicznych.

Dlaczego to ma znaczenie dla operacji małych firm

Jeśli zarządzasz operacjami lub zatrudniasz kreatywnych freelancerów w małej firmie, ten skok w wynikach jest sygnałem, że agenty AI przechodzą od prostego uzupełniania tekstu do obsługi funkcjonalnego, wieloetapowego tworzenia zasobów. 41-procentowy wskaźnik sukcesu w złożonych zadaniach, wymagających średnio 29 godzin pracy ludzkiej, oznacza, że agenty mogą realistycznie pomagać w wstępnych pracach projektowych, podstawowym modelowaniu 3D lub rutynowym czyszczeniu audio.

Jednak nie powinieneś jeszcze zwalniać swoich kontrahentów-freelancerów. Wskaźnik niepowodzeń na poziomie 58,7 procent dowodzi, że agenty nadal regularnie generują bezużyteczne pliki, niekompletne produkty i amatorskie projekty. Ponadto, ponieważ CAIS wykazało, że zautomatyzowane oceny AI nie są w stanie wychwycić wad technicznych ukrytych za ładnymi powierzchniami, wykwalifikowany ekspert ludzki nadal musi sprawdzać każdy pojedynczy produkt w rzeczywistym oprogramowaniu, zanim cokolwiek trafi do produkcji. Dla małych zespołów praktyczną strategią jest wykorzystanie agentów do wstępnego szkicowania i przygotowywania zadań modułowych, przy jednoczesnym pozostawieniu doświadczonych profesjonalistów odpowiedzialnych za przegląd i montaż.

Co zrobić w tym tygodniu

1. Przeprowadź audyt zaległości w outsourcingu kreatywnym i technicznym swojej firmy, aby oznaczyć powtarzające się zadania poniżej 30 godzin, które obejmują modelowanie 3D, edycję audio lub podstawowe projektowanie przestrzenne.
2. Ustanów obowiązkowy protokół ręcznego przeglądu, wymagający od ludzkich liderów technicznych sprawdzenia wszystkich produktów wspomaganych przez AI w natywnym oprogramowaniu przed zatwierdzeniem.
3. Przetestuj narzędzie agenta oparte na wysokowydajnych modelach, takich jak Fable 5.2, na zarchiwizowanym zleceniu freelancerskim, aby porównać jego wstępne wyniki z pracą Twojego oryginalnego freelancera.

Źródła

• Anthropic's Fable 5.2 completes 41 percent of real freelance jobs, up from 2.5 percent a year ago — The Decoder