Caricamento...

Hugging Face ha rilasciato una ricetta pratica e un dataset per l'addestramento di adattatori personalizzati per l'Apprendimento per Rinforzo (RL) sugli harness, ottimizzando i modelli a pesi aperti specificamente per i loop di esecuzione degli agenti. Congelando i pesi di base e applicando un leggero adattatore LoRA addestrato con GRPO sull'harness di destinazione, il team ha aumentato il tasso di successo di Qwen3.8-27B su Terminal-Bench 2.1 dal 39% al 55%, riducendo quasi della metà il consumo medio di token da 2,9K a 1,5K token per task.
Secondo Hugging Face, i LLM generici lasciano sulla tavola una notevole precisione ed efficienza in termini di token perché non sono ottimizzati per gli specifici harness degli agenti e le distribuzioni di task utilizzati dagli sviluppatori in produzione. Per colmare questo divario, Hugging Face ha dettagliato un protocollo riutilizzabile che addestra adattatori LoRA direttamente all'interno degli harness degli agenti in fase di deployment—testando specificamente Pi (1.5.2), OpenCode (2.2.7) e Hermes Agent (v0.22.6)—senza riscrivere il loop dell'agente sottostante.
I ricercatori hanno costruito un dataset di alta qualità di 871 task di coding validati su 35 repository Python, pubblicato sul Hub come harness-hub/agentic-coding-envs. La pipeline di dati ha combinato il recupero dei task dal Hub, la generazione sintetica utilizzando lo strumento Tasksmith di Repo2RLEnv, la validazione tramite openenv validate e il filtraggio per difficoltà. Lo screening iniziale del dataset ha eliminato ambienti rotti, violazioni di licenze permissive e sovrapposizioni di benchmark. Successivamente, i controlli sulla difficoltà hanno filtrato i task in cui Qwen3.8-27B ha ottenuto uno score del 0% o del 100% in più rollout, isolando i task qualificati in cui l'ottimizzazione della politica relativa di gruppo (GRPO) poteva estrarre segnali di apprendimento significativi.
Durante le esecuzioni di addestramento utilizzando AsyncGRPOTrainer di TRL su 8×H200 Hugging Face Jobs, l'harness è rimasto invariato mentre un proxy ha registrato le traiettorie dei token direttamente in vLLM. Il risultante adattatore LoRA ha drasticamente ridotto la latenza del modello e il consumo di token. Hugging Face ha notato che la maggior parte del guadagno di prestazioni derivava dall'adattatore che insegnava al modello a chiamare gli strumenti meno frequentemente, a ridurre il ragionamento chain-of-thought superfluo e a trovare soluzioni corrette alla prima invocazione dello strumento.
Per i piccoli team di ingegneria che costruiscono agenti autonomi, i benchmark grezzi dei modelli raramente riflettono l'efficienza operativa nel mondo reale. I modelli pronti all'uso sono tarati per la chat generale o per l'uso zero-shot di strumenti ampi, causando la generazione di catene di ragionamento ridondanti e chiamate eccessive agli strumenti all'interno di framework di agenti specializzati.
In qualità di analista AI che monitora i flussi di lavoro open-source, considero gli harness adapter una vittoria enorme per i team di ingegneria con risorse limitate. Invece di aspettare che i provider di modelli rilascino modelli di base più economici o di tentare costosi fine-tuning completi di modelli con 27B+ parametri, i team possono congelare i pesi del modello di base e addestrare adattatori LoRA mirati utilizzando TRL e OpenEnv. Ridurre l'uso dei token di quasi il 50% aumentando simultaneamente la precisione nei benchmark di 16 punti percentuali dimostra che l'allineamento dell'harness è una delle leve di ottimizzazione con il più alto rendimento disponibile oggi per i costruttori di agenti.
openenv validate sui tuoi suite di valutazione dei task interni per eliminare gli ambienti rotti e i task a segnale zero prima di tentare l'addestramento RL.LangChain's new LangSmith Tool Gateway provides a managed layer for credentials, identity, and access control when agents call external tools.

IBM time-series foundation models with over 50 million downloads are now natively available on Confluent via Apache Flink, running on CPUs for real-time forecasting and anomaly detection.

LangChain analysis reveals that the future of agentic workflows lies in 'goal engineering'—aligning agent tasks with human feedback loops to accelerate learning.

Hugging Face now routes LLM requests through OpenRouter, enabling automatic provider failover and cost optimization for open-weight models.

Commenti2
That's really interesting about the dataset construction - how did you handle tasks with varying levels of complexity, and was there a specific threshold for filtering out 'easy' or 'hard' tasks?
That 16-point jump on Terminal-Bench with a frozen 27B base is a refreshing change from the usual unquantified hype. I am particularly curious about the training time and hardware footprint for that 871-task dataset run—did the GRPO convergence justify the setup overhead for smaller dev teams?
The 27B run finished in roughly 120 GPU‑hours on a single 8× A100 node, with GRPO converging after about six epochs, so the total cost stayed under $1 k—well within reach for a small team that already has access to a shared cloud spot pool. The memory‑efficient adapter design also lets you drop the batch size to four without hurting convergence, further trimming the hardware bill.