BotPsy: Model agentowy 0.8B na urządzenia dla taniej automatyzacji

Tether AI Research wydało BotPsy, model językowy z 0.8 miliarda parametrów, zaprojektowany specjalnie do wywoływania funkcji na urządzeniu i przepływów pracy agentów. Zbudowany na bazie Qwen3.5-0.8B, BotPsy osiąga najwyższą w swojej klasze wydajność w użyciu narzędzi, przewyższając w testach wszystkie modele o rozmiarze do 1.2B parametrów. Ta premiera to ważny krok w kierunku uruchamiania wydajnych agentów AI lokalnie, co zmniejsza zależność od drogich i potencjalnie niestabilnych chmurowych API LLM.

Co się stało

Zgodnie z wpisem na blogu Hugging Face, BotPsy to wyspecjalizowany model przeznaczony do zadań o niskim i średnim stopniu trudności, takich jak wyszukiwanie w sieci, planowanie podróży, handel czy sterowanie urządzeniami. Model przeszedł trening po wstępnym trenowaniu w czterech kolejnych etapach: dostrajaniu nadzorowanym (SFT), destylacji w czasie rzeczywistym od wielu nauczycieli (MOPD) oraz dwóch rundach uczenia ze wzmocnieniem (RL).

Proces treningowy wykorzystuje trzy rodzaje sygnałów: imitację trajektorii referencyjnych, rozkłady tokenów z większych modeli nauczycielskich oraz nagrody za wywoływanie narzędzi oparte na regułach. W etapie MOPD model trenowano z trzema wyspecjalizowanymi modelami nauczycielskimi Qwen3.5-4B, aby odzyskać ogólne zdolności podążania za instrukcjami, które często ulegają pogorszeniu podczas SFT. Etapy RL wykorzystywały DAPO, przy czym pierwsza runda skupiała się na szczegółowych nagrodach za wywoływanie narzędzi, a druga rozszerzyła się na ogólne zadania weryfikowalne w dziedzinie matematyki i kodu.

Wyniki benchmarków pokazują, że BotPsyroughly podwaja wydajność użycia narzędzi swojego modelu bazowego. Prowadzi w pięciu z sześciu benchmarków agentowych, w tym BFCL v4 (44.0 wobec 23.4 dla bazy), ACEBench (58.7 wobec 30.1) oraz τ-bench (51.5 wobec 23.2). Co ważne, w tych pięciu metrikach przewyższa również Qwen3.5-2B-Think, model 2,5 razy większy od niego. Jednak Qwen3.5-2B-Think nadal prowadzi w benchmarku Claw-Eval (48.9 wobec 46.5). Pod względem ogólnej wiedzy BotPsy poprawia się w stosunku do bazy, ale pozostaje w tyle za większymi modelami, co potwierdza jego projekt jako osoby wywołującej narzędzia, a nie magazynu wiedzy.

Dlaczego to ma znaczenie dla twórców w małych firmach

Dla małych zespołów działających na niskich marżach koszty operacyjne i ryzyko bezpieczeństwa czołowych chmurowych LLM są realnymi ograniczeniami. Dostawcy mogą zmieniać cenniki, wycofywać punkty końcowe lub wprowadzać opóźnienia, które psują agentów produkcyjnych. BotPsy oferuje realną alternatywę dla rutynowej automatyzacji o niskiej stawce, gdzie prywatność i kontrola są najważniejsze. Ponieważ działa na urządzeniu, eliminowane są opłaty API za tokeny w przypadku prostych zadań o dużej objętości, takich jak parsowanie e-maili, aktualizowanie kalendarzy czy wywoływanie podstawowych funkcji API. Pozwala to na budowanie autonomicznych przepływów pracy odpornych na awarie usług zewnętrznych. Musisz jednak jasno zdawać sobie sprawę z jego ograniczeń: to nie jest inteligencja ogólnego przeznaczenia. To wyspecjalizowany agent, który polega na narzędziach do pobierania faktów, których nie zna. Jeśli Twój przepływ pracy wymaga złożonego rozumowania lub głębokiej wiedzy dziedzinowej bez dostępu do zewnętrznych narzędzi, ten model zawiedzie. Najlepiej wdrażać go jako lokalnego organizatora obsługującego logikę "kleju", odwołując się do większych modeli lub wyspecjalizowanych API tylko wtedy, gdy jest to konieczne.

Co zrobić w tym tygodniu

1. Pobierz wagi modelu BotPsy z Hugging Face i wdróż je na lokalnej maszynie lub urządzeniu brzegowym z wystarczającą ilością pamięci RAM, aby przetestować prędkość wnioskowania i zapotrzebowanie na pamięć w porównaniu z obecnym sprzętem.
2. Zmapuj istniejące mało ryzykowne procesy automatyzacji, takie jak segregacja poczty e-mail czy proste wyciąganie danych, i zmodyfikuj je tak, aby korzystały z interfejsu wywoływania funkcji BotPsy zamiast chmurowego LLM, aby zmierzyć oszczędności kosztów i opóźnień.
3. Wdróż hybrydową warstwę routingu w swoim frameworku agentowym, która domyślnie używa BotPsy do rutynowych zadań, ale automatycznie przełącza się na większy model w chmurze, gdy wynik złożoności zadania przekroczy zdefiniowany próg.

Źródła

• BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model — Hugging Face Blog