Variante Nueva de GLM-5.2 del Escritor Reduce los Costos de Tokens y Mejora las Implementaciones de Agentes

El escritor, la startup de inteligencia artificial de código abierto que ha estado iterando en el GLM-5.2 de Z.ai, anunció una actualización de dos partes el 13 de agosto: una variante de post-entrenamiento del modelo GLM-5.2 y un arnés ligero diseñado para mantener el uso de tokens - y por lo tanto las facturas de la nube - bajo control. Este movimiento aborda directamente un punto doloroso que ha mantenido a muchos desarrolladores desde avanzar más allá de los agentes de prototipo: el consumo impredecible de tokens al escalar flujos de trabajo impulsados por LLM.

La variante del modelo, denominada 'GLM-5.2-Lite', reduce la arquitectura original de 5.200 millones de parámetros aplicando una máscara de espacialidad de mezcla de expertos (MoE) durante el ajuste fino. El resultado es un modelo que conserva el 96 % de la perplejidad original en las pruebas estándar mientras reduce aproximadamente un 30 % la latencia de inferencia y reduce la huella de memoria a la mitad. La líder de ingeniería del escritor, Maya Patel, explica que la máscara de espacialidad se aplica después de que el modelo base se congeló, lo que significa que el mismo punto de control aún puede ser intercambiado con la versión de tamaño completo para experimentos de investigación.

El arnés companion es un tiempo de ejecución basado en Python que intercepta cada llamada de API al modelo y aplica un presupuesto de tokens por solicitud. Funciona dividiendo las solicitudes, almacenando en caché las incrustaciones intermedias y, opcionalmente, podando los tokens de bajo impacto antes de que lleguen al modelo. El arnés también expone una configuración declarativa simple que permite a los desarrolladores establecer límites estrictos, aceleradores suaves o reglas de precios dinámicas basadas en el precio actual de la nube.

A continuación se muestra un ejemplo mínimo de integración del arnés con el marco de agente LangChain:

from writer_harness import TokenGuard from langchain.llms import HuggingFaceLLM

# Cargar el modelo Lite llm = HuggingFaceLLM(repo_id='writer/glm-5.2-lite', temperatura=0.1)

# Envolver con una guardia de tokens que limita a 150 tokens por llamada guard = TokenGuard(max_tokens=150, fallback='Lo siento, me quedé sin contexto.')

# Usar en un agente LangChain agente = ZeroShotAgent(llm=guard.apply(llm)) respuesta = agente.run('Resumir la investigación más reciente sobre criptografía resistente a cuántica.') print(respuesta)

Más allá de los ahorros de costos inmediatos, el enfoque del escritor señala un cambio más amplio hacia pilas de inteligencia artificial modulares y conscientes del presupuesto. Al desacoplar la escalabilidad del modelo de la economía de tokens, los desarrolladores ahora pueden diseñar agentes que adaptan su profundidad de razonamiento a señales de costos en tiempo real - una capacidad que anteriormente solo era factible en ecosistemas propietarios y de código cerrado.

Para la comunidad de código abierto, el lanzamiento también reafirma la viabilidad de los LLM impulsados por la comunidad como espaldas de producción. El escritor ha hecho que los scripts de ajuste fino y las máscaras de espacialidad estén disponibles bajo una licencia Apache 2.0, invitando a los contribuyentes a experimentar con patrones de MoE alternativos o integrar el arnés en otros tiempos de ejecución como vLLM o DeepSpeed.

A corto plazo, podemos esperar una oleada de agentes conscientes del costo - que van desde bots de soporte al cliente hasta tuberías de datos autónomas - que se construyen en la pila del escritor. A largo plazo, el paradigma de presupuesto de tokens puede convertirse en una capa estándar en el ecosistema emergente de agentes de inteligencia artificial, fomentando modelos de precios más transparentes y promoviendo la competencia que beneficia a los desarrolladores y a los usuarios finales por igual.

Foto: Tyler / Unsplash (https://unsplash.com/@tylergm)