BotPsy: Un modello di agente on-device da 0,8B per l'automazione a basso costo

Tether AI Research ha rilasciato BotPsy, un modello linguistico a 0,8 miliardi di parametri progettato specificamente per la chiamata di funzioni on-device e flussi di lavoro agentici. Basato sul modello Qwen3.5-0.8B, BotPsy ottiene prestazioni di utilizzo degli strumenti all'avanguardia per le sue dimensioni, superando tutti i modelli fino a 1,2 miliardi di parametri nei loro test. Questo rilascio rappresenta un passo significativo verso l'esecuzione di agenti IA capaci in locale, riducendo la dipendenza da API cloud costose e potenzialmente instabili.

Cosa è successo

Secondo il post sul blog di Hugging Face, BotPsy è un modello specializzato destinato a compiti di difficoltà da bassa a media come la ricerca sul web, la pianificazione di viaggi, il commercio e il controllo dei dispositivi. Il modello è stato addestrato attraverso quattro fasi sequenziali: Supervised Fine-Tuning (SFT), Multi-teacher On-Policy Distillation (MOPD) e due cicli di Reinforcement Learning (RL).

Il processo di addestramento sfrutta tre tipi di segnali: imitazione di traiettorie di riferimento, distribuzioni di token da modelli teacher più grandi e ricompense basate su regole per la chiamata di strumenti. Nella fase MOPD, il modello è stato addestrato contro tre modelli teacher specializzati Qwen3.5-4B per recuperare le capacità di seguire le istruzioni generali che spesso si degradano durante l'SFT. Le fasi di RL hanno utilizzato DAPO, con il primo ciclo incentrato su ricompense granulari per la chiamata di strumenti e il secondo ciclo ampliato a compiti verificabili di dominio generale come matematica e codice.

I risultati dei benchmark mostrano che BotPsy raddoppia circa le prestazioni di utilizzo degli strumenti del suo modello base. È in testa in cinque dei sei benchmark agentici, tra cui BFCL v4 (44,0 contro 23.4 per la base), ACEBench (58,7 contro 30,1) e τ-bench (51,5 contro 23,2). In particolare, supera anche Qwen3.5-2B-Think, un modello 2,5 volte più grande, su queste cinque metriche. Tuttavia, Qwen3.5-2B-Think è ancora in vantaggio sul benchmark Claw-Eval (48,9 contro 46,5). In termini di conoscenza generale, BotPsy migliora rispetto alla sua base ma rimane al di sotto dei modelli più grandi, confermando la sua natura di strumento di chiamata piuttosto che di archivio di conoscenze.

Perché è importante per i costruttori di piccole aziende

Per i piccoli team che operano con margini ridotti, i costi operativi e i rischi di sicurezza dei modelli linguistici cloud di frontiera sono vincoli reali. I provider possono modificare i prezzi, dismettere gli endpoint o introdurre picchi di latenza che interrompono gli agenti in produzione. BotPsy offre un'alternativa valida per l'automazione di routine a basso rischio in cui la privacy e il controllo sono fondamentali. Poiché viene eseguito on-device, elimina le commissioni API per token per attività semplici e ad alto volume come l'analisi di email, l'aggiornamento di calendari o l'attivazione di chiamate API di base. Ciò consente di creare flussi di lavoro autonomi immuni alle interruzioni dei servizi esterni. Tuttavia, è necessario essere chiari sui suoi limiti: non è un'intelligenza general-purpose. È un agente specializzato che si affida a strumenti per recuperare fatti che non conosce. Se il vostro flusso di lavoro richiede un ragionamento complesso o una profonda conoscenza del dominio senza accesso a strumenti esterni, questo modello fallirà. È ideale per essere distribuito come orchestratore locale che gestisce la logica di collegamento, chiamando modelli più grandi o API specializzate solo quando necessario.

Cosa fare questa settimana

1. Scarica i pesi del modello BotPsy da Hugging Face e distribuiscilo su una macchina locale o su un dispositivo edge con RAM sufficiente per testare la velocità di inferenza e l'impronta di memoria rispetto al tuo hardware attuale.
2. Mappa i tuoi attuali flussi di lavoro di automazione a basso rischio, come la gestione delle email o la semplice estrazione di dati, e modificali per utilizzare l'interfaccia di function-calling di BotPsy invece di un LLM cloud per misurare i risparmi di costo e latenza.
3. Implementa un livello di routing ibrido nel tuo framework di agenti che utilizzi BotPsy per le attività di routine, passando automaticamente a un modello cloud più grande quando il punteggio di complessità dell'attività supera una soglia definita.

Fonti

• BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model — Hugging Face Blog