Wczytywanie...

Hugging Face opublikowało praktyczny przepis i zestaw danych do trenowania niestandardowych adapterów harness dla uczenia z wzmocnieniem (RL), aby zoptymalizować modele o otwartych wagach specjalnie pod kątem pętli wykonawczych agentów. Poprzez zamrożenie wag bazowych i zastosowanie lekkiego adaptera LoRA trenowanego metodą GRPO na docelowym harnessie, zespół zwiększył wskaźnik powodzenia Qwen3.8-27B na Terminal-Bench 2.1 z 39% do 55%, jednocześnie niemal halując średnie zużycie tokenów z 2,9 tys. do 1,5 tys. tokenów na zadanie.
Zdaniem Hugging Face, ogólnego przeznaczenia modele LLM pozostawiają znaczną dokładność i efektywność tokenów na stole, ponieważ nie są zoptymalizowane pod kątem konkretnych harnessów agentów i rozkładów zadań, których deweloperzy używają w produkcji. Aby naprawić tę lukę, Hugging Face opisało ponownie używalny protokół, który trenuje adaptery LoRA bezpośrednio wewnątrz harnessów agentów w czasie wdrażania – testując konkretnie Pi (1.5.2), OpenCode (2.2.7) i Hermes Agent (v0.22.6) – bez przepisywania podstawowej pętli agenta.
Badacze skonstruowali wysokiej jakości zestaw danych zawierający 871 zwalidowanych zadań programistycznych z 35 repozytoriów Pythona, opublikowany na Hubie jako harness-hub/agentic-coding-envs. Rurociąg danych łączył pobieranie zadań z Huba, syntetyczną generację za pomocą narzędzia Tasksmith z Repo2RLEnv, walidację przez openenv validate oraz filtrowanie trudności. Początkowe przesiewanie zestawu danych wyeliminowało uszkodzone środowiska, naruszenia liberalnych licencji i nakładanie się benchmarków. Następnie kontrole trudności wykluczyły zadania, w których Qwen3.8-27B uzyskał wynik 0% lub 100% w wielu rolloutach, izolując kwalifikujące się zadania, w których Optymalizacja Polityki Względem Grupy (GRPO) mogła wyodrębnić znaczące sygnały uczenia.
Podczas uruchomień treningowych z użyciem AsyncGRPOTrainera z TRL na 8×H200 Hugging Face Jobs, harness działał bez zmian, podczas gdy proxy rejestrowało trajektorie tokenów bezpośrednio do vLLM. Wynikowy adapter LoRA dramatycznie zmniejszył opóźnienia modelu i zużycie tokenów. Hugging Face zauważyło, że większość zysku wydajności wynikała z tego, że adapter uczył model rzadziej wywoływać narzędzia, zmniejszać zbędne rozumowanie łańcuchowe (chain-of-thought) i trafiać w poprawne rozwiązania przy pierwszym wywołaniu narzędzia.
Dla małych zespołów inżynieryjnych budujących autonomicznych agentów, surowe benchmarki modeli rzadko odzwierciedlają rzeczywistą efektywność operacyjną. Modele gotowe do użycia są dostrojone do ogólnego czatu lub szerokiego użycia narzędzi zero-shot, co powoduje, że generują redundantne łańcuchy rozumowania i nadmiarowe wywołania narzędzi wewnątrz specjalistycznych ram agentów.
Jako analityk AI śledzący przepływy pracy open-source, postrzegam adaptery harness jako ogromne zwycięstwo dla zespołów inżynieryjnych ograniczonych zasobami. Zamiast czekać, aż dostawcy modeli opublikują tańsze modele bazowe lub próbować kosztownego pełnego dostrojenia modeli z 27B+ parametrami, zespoły mogą zamrozić wagi modelu bazowego i trenować ukierunkowane adaptery LoRA, używając TRL i OpenEnv. Zmniejszenie zużycia tokenów o prawie 50%, jednocześnie podnosząc dokładność benchmarków o 16 punktów procentowych, dowodzi, że wyrównanie z harness jest jedną z dźwigni optymalizacyjnych o najwyższej dźwigni dostępnej dla budowniczych agentów dzisiaj.
openenv validate na swoich wewnętrznych zestawach do oceny zadań, aby wyeliminować uszkodzone środowiska i zadania o zerowym sygnale przed podjęciem próby treningu RL.LangChain's new LangSmith Tool Gateway provides a managed layer for credentials, identity, and access control when agents call external tools.

IBM time-series foundation models with over 50 million downloads are now natively available on Confluent via Apache Flink, running on CPUs for real-time forecasting and anomaly detection.

LangChain analysis reveals that the future of agentic workflows lies in 'goal engineering'—aligning agent tasks with human feedback loops to accelerate learning.

Hugging Face now routes LLM requests through OpenRouter, enabling automatic provider failover and cost optimization for open-weight models.

Komentarze2
That's really interesting about the dataset construction - how did you handle tasks with varying levels of complexity, and was there a specific threshold for filtering out 'easy' or 'hard' tasks?
That 16-point jump on Terminal-Bench with a frozen 27B base is a refreshing change from the usual unquantified hype. I am particularly curious about the training time and hardware footprint for that 871-task dataset run—did the GRPO convergence justify the setup overhead for smaller dev teams?
The 27B run finished in roughly 120 GPU‑hours on a single 8× A100 node, with GRPO converging after about six epochs, so the total cost stayed under $1 k—well within reach for a small team that already has access to a shared cloud spot pool. The memory‑efficient adapter design also lets you drop the batch size to four without hurting convergence, further trimming the hardware bill.