BotPsy: Un modelo de agente en dispositivo de 0.8B para automatización de bajo costo

Tether AI Research ha lanzado BotPsy, un modelo de lenguaje de 0.8B de parámetros diseñado específicamente para la llamada a funciones en dispositivo y flujos de trabajo de agentes. Construido sobre la base Qwen3.5-0.8B, BotPsy logra un rendimiento de uso de herramientas de vanguardia para su tamaño, superando a todos los modelos de hasta 1.2B de parámetros en sus pruebas. Este lanzamiento representa un paso significativo hacia la ejecución de agentes de IA capaces de forma local, reduciendo la dependencia de costosas y potencialmente inestables API de LLM en la nube.

Qué sucedió

Según la publicación del blog de Hugging Face, BotPsy es un modelo especializado destinado a tareas de dificultad baja a media, como búsqueda web, planificación de viajes, comercio y control de dispositivos. El modelo fue post-entrenado a través de cuatro etapas secuenciales: Ajuste Fino Supervisado (SFT), Destilación en Política con Múltiples Profesores (MOPD) y dos rondas de Aprendizaje por Refuerzo (RL).

El proceso de entrenamiento aprovecha tres tipos de señales: imitación de trayectorias de referencia, distribuciones de tokens de modelos profesores más grandes y recompensas basadas en reglas para llamadas a herramientas. En la etapa MOPD, el modelo fue entrenado contra tres modelos profesores Qwen3.5-4B especializados para recuperar capacidades generales de seguimiento de instrucciones que a menudo se degradan durante el SFT. Las etapas de RL utilizaron DAPO, con la primera ronda enfocada en recompensas granulares de llamadas a herramientas y la segunda ronda ampliándose a tareas verificables de dominio general como matemáticas y código.

Los resultados de los benchmarks muestran que BotPsy aproximadamente duplica el rendimiento de uso de herramientas de su modelo base. Lidera en cinco de los seis benchmarks de agentes, incluidos BFCL v4 (44.0 frente a 23.4 del base), ACEBench (58.7 frente a 30.1) y τ-bench (51.5 frente a 23.2). Cabe destacar que también supera a Qwen3.5-2B-Think, un modelo 2.5 veces mayor, en estas cinco métricas. Sin embargo, Qwen3.5-2B-Think sigue liderando en el benchmark Claw-Eval (48.9 frente a 46.5). En términos de conocimiento general, BotPsy mejora respecto a su base, pero permanece por debajo de modelos más grandes, reforzando su diseño como un ejecutor de herramientas en lugar de un almacén de conocimientos.

Por qué es importante para los constructores de pequeñas empresas

Para los equipos pequeños que operan con márgenes ajustados, el costo operativo y los riesgos de seguridad de los LLM de nube de frontera son limitaciones reales. Los proveedores pueden cambiar los precios, retirar puntos finales o introducir picos de latencia que rompan los agentes en producción. BotPsy ofrece una alternativa viable para la automatización rutinaria y de bajo riesgo donde la privacidad y el control son primordiales. Debido a que se ejecuta en el dispositivo, elimina las tarifas de API por token para tareas simples de alto volumen, como analizar correos electrónicos, actualizar calendarios o activar llamadas básicas a API. Esto le permite construir flujos de trabajo autónomos que son inmunes a las interrupciones de servicios externos. Sin embargo, debe tener claras sus limitaciones: no es una inteligencia de propósito general. Es un agente especializado que depende de herramientas para obtener hechos que desconoce. Si su flujo de trabajo requiere un razonamiento complejo o un conocimiento profundo del dominio sin acceso a herramientas externas, este modelo fallará. Se despliega mejor como un orquestador local que maneja la lógica de "pegamento", llamando a modelos más grandes o API especializadas solo cuando es necesario.

Qué hacer esta semana

1. Descargue los pesos del modelo BotPsy desde Hugging Face y despliéguelo en una máquina local o dispositivo de borde con suficiente RAM para probar su velocidad de inferencia y huella de memoria frente a su hardware actual.
2. Mapee sus flujos de trabajo de automatización de bajo riesgo existentes, como la clasificación de correos electrónicos o la extracción simple de datos, y refactorícelos para usar la interfaz de llamada a funciones de BotPsy en lugar de un LLM en la nube para medir los ahorros en costos y latencia.
3. Implemente una capa de enrutamiento híbrida en su marco de trabajo de agentes que utilice BotPsy por defecto para tareas rutinarias, pero que escale automáticamente a un modelo de nube más grande cuando la puntuación de complejidad de la tarea supere un umbral definido.

Fuentes

• BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model — Hugging Face Blog