BotPsy: Ein 0,8B On-Device Agenten-Modell für kostengünstige Automatisierung

Tether AI Research hat BotPsy veröffentlicht, ein Sprachmodell mit 0,8 Milliarden Parametern, das speziell für On-Device-Funktionsaufrufe und agentische Workflows entwickelt wurde. Basierend auf Qwen3.5-0.8B erreicht BotPsy eine für seine Größe führende Leistung bei der Werkzeugnutzung und übertrifft in Tests alle Modelle bis zu 1,2 Milliarden Parametern. Diese Veröffentlichung stellt einen bedeutenden Schritt in Richtung lokaler, leistungsfähiger KI-Agenten dar und reduziert die Abhängigkeit von teuren und potenziell instabilen Cloud-LLM-APIs.

Was ist passiert

Laut dem Hugging Face Blog-Beitrag ist BotPsy ein spezialisiertes Modell für Aufgaben mit niedrigem bis mittlerem Schwierigkeitsgrad wie Websuche, Reiseplanung, Handel und Gerätesteuerung. Das Modell wurde in vier aufeinanderfolgenden Phasen trainiert: Supervised Fine-Tuning (SFT), Multi-teacher On-Policy Distillation (MOPD) und zwei Runden Reinforcement Learning (RL).

Der Trainingsprozess nutzt drei Arten von Signalen: Nachahmung von Referenztrajektorien, Token-Verteilungen von größeren Lehrermodellen und regelbasierte Belohnungen für Werkzeugaufrufe. In der MOPD-Phase wurde das Modell gegen drei spezialisierte Qwen3.5-4B-Lehrermodelle trainiert, um allgemeine Fähigkeiten zur Befolgung von Anweisungen wiederherzustellen, die während des SFT oft nachlassen. Die RL-Phasen nutzten DAPO, wobei sich die erste Runde auf fein abgestimmte Belohnungen für Werkzeugaufrufe konzentrierte und die zweite Runde auf allgemeine, verifizierbare Aufgaben wie Mathematik und Code ausgeweitet wurde.

Benchmark-Ergebnisse zeigen, dass BotPsy die Leistung bei der Werkzeugnutzung gegenüber seinem Basismodell etwa verdoppelt. Es führt bei fünf von sechs agentischen Benchmarks, darunter BFCL v4 (44,0 gegenüber 23,4 beim Basismodell), ACEBench (58,7 gegenüber 30,1) und τ-bench (51,5 gegenüber 23,2). Bemerkenswert ist, dass es bei diesen fünf Metriken auch Qwen3.5-2B-Think übertrifft, ein Modell, das 2,5-mal so groß ist. Qwen3.5-2B-Think führt jedoch weiterhin beim Claw-Eval-Benchmark (48,9 gegenüber 46,5). In Bezug auf Allgemeinwissen verbessert sich BotPsy gegenüber seinem Basismodell, bleibt aber hinter größeren Modellen zurück, was sein Design als Werkzeugnutzer und nicht als Wissensspeicher unterstreicht.

Warum das für kleine Unternehmen wichtig ist

Für kleine Teams mit knappen Budgets sind die Betriebskosten und Sicherheitsrisiken von Cloud-LLMs echte Einschränkungen. Anbieter können Preise ändern, Endpunkte einstellen oder Latenzspitzen einführen, die produktive Agenten unterbrechen. BotPsy bietet eine praktikable Alternative für routinemäßige Automatisierungen mit geringem Risiko, bei denen Datenschutz und Kontrolle von größter Bedeutung sind. Da es lokal läuft, entfallen die API-Gebühren pro Token für hochvolumige, einfache Aufgaben wie das Parsen von E-Mails, das Aktualisieren von Kalendern oder das Auslösen grundlegender API-Aufrufe. Dies ermöglicht den Aufbau autonomer Workflows, die immun gegen Ausfälle externer Dienste sind. Sie müssen sich jedoch über die Grenzen im Klaren sein: Es handelt sich nicht um eine allgemeine Intelligenz. Es ist ein spezialisierter Agent, der auf Werkzeuge angewiesen ist, um Fakten abzurufen, die er nicht kennt. Wenn Ihr Workflow komplexe Schlussfolgerungen oder tiefes Fachwissen ohne externen Werkzeugzugriff erfordert, wird dieses Modell scheitern. Es lässt sich am besten als lokaler Orchestrator einsetzen, der die "Klebelogik" übernimmt und nur bei Bedarf auf größere Modelle oder spezialisierte APIs zugreift.

Was diese Woche zu tun ist

1. Laden Sie die BotPsy-Modellgewichte von Hugging Face herunter und stellen Sie sie auf einem lokalen Computer oder Edge-Gerät mit ausreichend RAM bereit, um die Inferenzgeschwindigkeit und den Speicherbedarf mit Ihrer aktuellen Hardware zu testen.
2. Kartieren Sie Ihre bestehenden, risikoarmen Automatisierungs-Workflows, wie z. B. E-Mail-Triage oder einfache Datenextraktion, und gestalten Sie diese so um, dass sie die Funktionsaufruf-Schnittstelle von BotPsy anstelle eines Cloud-LLMs verwenden, um Kosten- und Latenzeinsparungen zu messen.
3. Implementieren Sie eine hybride Routing-Ebene in Ihrem Agenten-Framework, die standardmäßig BotPsy für Routineaufgaben verwendet, aber automatisch auf ein größeres Cloud-Modell eskaliert, wenn der Komplexitätsscore einer Aufgabe einen definierten Schwellenwert überschreitet.

Quellen

• BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model — Hugging Face Blog