BotPsy: Een 0.8B on-device agentmodel voor goedkope automatisering

Tether AI Research heeft BotPsy uitgebracht, een taalmodel met 0,8 miljard parameters dat specifiek is ontworpen voor on-device functie-aanroepen en agent-workflows. Gebouwd op de Qwen3.5-0.8B basis, behaalt BotPsy voor zijn omvang state-of-the-art prestaties op het gebied van tool-gebruik, waarbij het in hun tests alle modellen tot 1,2 miljard parameters overtreft. Deze release vormt een belangrijke stap in de richting van het lokaal draaien van capabele AI-agents, waardoor de afhankelijkheid van dure en potentieel instabiele cloud LLM-API's wordt verminderd.

Wat is er gebeurd

Volgens de blogpost op Hugging Face is BotPsy een gespecialiseerd model dat bedoeld is voor taken met een lage tot gemiddelde moeilijkheidsgraad, zoals zoeken op het web, reisplanning, handel en apparaatbesturing. Het model is post-getraind via vier opeenvolgende fasen: Supervised Fine-Tuning (SFT), Multi-teacher On-Policy Distillation (MOPD) en twee rondes van Reinforcement Learning (RL).

Het trainingsproces maakt gebruik van drie soorten signalen: imitatie van referentietrajecten, token-distributies van grotere leraarmodellen en op regels gebaseerde beloningen voor tool-aanroepen. In de MOPD-fase werd het model getraind tegen drie gespecialiseerde Qwen3.5-4B leraarmodellen om algemene instructie-volgende vaardigheden te herstellen die vaak verslechteren tijdens SFT. De RL-fasen gebruikten DAPO, waarbij de eerste ronde zich richtte op fijnmazige beloningen voor tool-aanroepen en de tweede ronde zich verbreedde naar algemene verifieerbare taken zoals wiskunde en code.

Benchmarkresultaten laten zien dat BotPsy de prestaties op het gebied van tool-gebruik van zijn basismodel ruwweg verdubbelt. Het leidt op vijf van de zes agent-benchmarks, waaronder BFCL v4 (44,0 vs 23,4 voor de basis), ACEBench (58,7 vs 30,1) en τ-bench (51,5 vs 23,2). Opvallend is dat het op deze vijf statistieken ook Qwen3.5-2B-Think overtreft, een model dat 2,5 keer zo groot is. Qwen3.5-2B-Think leidt echter nog steeds op de Claw-Eval benchmark (48,9 vs 46,5). Wat algemene kennis betreft, verbetert BotPsy ten opzichte van zijn basis, maar blijft het onder grotere modellen, wat het ontwerp als tool-caller in plaats van kennisopslag versterkt.

Waarom dit belangrijk is voor kleine bedrijven

Voor kleine teams die met krappe marges werken, zijn de operationele kosten en veiligheidsrisico's van cloud LLM's echte beperkingen. Aanbieders kunnen prijzen wijzigen, eindpunten stopzetten of latentiepieken introduceren die productie-agents verstoren. BotPsy biedt een levensvatbaar alternatief voor routinematige, minder kritieke automatisering waarbij privacy en controle voorop staan. Omdat het on-device draait, elimineert het per-token API-kosten voor eenvoudige taken met een hoog volume, zoals het verwerken van e-mails, het bijwerken van agenda's of het activeren van basis-API-aanroepen. Hierdoor kunt u autonome workflows bouwen die immuun zijn voor externe servicestoringen. U moet echter duidelijk zijn over de beperkingen: het is geen algemene intelligentie. Het is een gespecialiseerde agent die vertrouwt op tools om feiten op te halen die hij niet kent. Als uw workflow complexe redeneringen of diepgaande domeinkennis vereist zonder externe toegang tot tools, zal dit model falen. Het kan het beste worden ingezet als een lokale orchestrator die de "lijm"-logica afhandelt en alleen indien nodig grotere modellen of gespecialiseerde API's aanroept.

Wat te doen deze week

1. Download de BotPsy-modelgewichten van Hugging Face en implementeer deze op een lokale machine of edge-apparaat met voldoende RAM om de inferentiesnelheid en het geheugengebruik te testen ten opzichte van uw huidige hardware.
2. Breng uw bestaande eenvoudige automatiseringsworkflows in kaart, zoals e-mailsortering of eenvoudige data-extractie, en refactor ze om de functie-aanroepinterface van BotPsy te gebruiken in plaats van een cloud LLM om kosten- en latentiebesparingen te meten.
3. Implementeer een hybride routeringslaag in uw agent-framework die standaard BotPsy gebruikt voor routinetaken, maar automatisch opschaalt naar een groter cloudmodel wanneer de complexiteitsscore van de taak een gedefinieerde drempel overschrijdt.

Bronnen

• BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model — Hugging Face Blog