Hermit: open-source’owy framework uczy zewnętrzny adapter dla agentów Codex i Claude Code, bez ruszania modelu

Infini-AI-Lab wydało Hermit, framework do dostosowywania agentów AI do nowych zadań bez fine-tuningu modelu i bez forkowania ich środowiska wykonawczego (harnessu). Jak opisuje Marktechpost, wersja v0.1.0 ukazała się 25 października, a dwa dni później zapowiedział ją na X Haizhong Zheng, postdoc z CMU. Kod jest na GitHubie na licencji Apache-2.0, a pakiet hermit-harness instaluje się przez pip.

Wtyczka z wbudowanym treningiem

Pomysł jest taki, że zamiast jak w LoRA adaptować model, uczy się zewnętrzną warstwę nad istniejącym agentem. Adapter może zawierać instrukcje, umiejętności, pamięć, narzędzia, wykonywalny kod, a nawet logikę koordynacji wielu agentów. W całości może to być nawet repozytorium. Jego specyfikacja określa, które elementy są uczone i jak weryfikuje się zmiany. Infini-AI-Lab opisuje to na X jako wtyczkę z wbudowanym wsparciem dla treningu, która zostawia model bazowy i harness bez zmian.

Według Marktechpost twórcy podają trzy powody takiego podejścia: wiele harnessów jest zamkniętych, edycja otwartych może zepsuć starannie dostrojone zależności między komponentami, a wyuczony adapter da się przenosić między zgodnymi modelami i harnessami.

Pętla treningowa przypomina uczenie ze wzmocnieniem. Trainer uruchamia partię zadań na agencie z bieżącym adapterem, a sędzia ocenia wyniki. Następnie Evolver czyta trajektorie i opinie, po czym proponuje nowy adapter. Trainer sprawdza go ze szablonem i zatwierdza jako kolejną wersję. Każda wersja trafia do drzewa git, więc można ją obejrzeć, cofnąć albo wdrożyć. Programy uczące mogą działać w piaskownicy, co wymaga Linuksa z bubblewrap.

W pierwszym wydaniu dostępnych jest pięć metod ewolucji adaptera: GEPA, SkillOpt, MetaWorld Model (MWM), Harness² i Continual Harness. ACE i ReHarness są zapowiedziane, a można też napisać własnego Evolvera. Na przykładowe uruchomienia nadają się backendy API (m.in. OpenAI, Anthropic, Fireworks, DeepSeek) oraz lokalne serwery vLLM, SGLang i Ollama. Szybki start offline nie wymaga GPU, konta u dostawcy modelu ani zbioru danych.

Wyniki: obiecujące, ale na własnych zasadach

Wszystkie podane liczby pochodzą z README przykładów w repozytorium, są raportowane przez samych autorów i dotyczą jednego modelu, GLM 5.3 Flash.

• OfficeQA (172 pytania testowe o biuletynach Skarbu USA, dopasowanie dokładne): bez adaptera 0,541, z Harness² 0,651. Pośrednio wypadły GEPA (0,580), SkillOpt (0,600) i Continual Harness (0,634). GEPA i SkillOpt uczyły się na 50 pytaniach i testowano je na zamrożonych adapterach. Continual Harness i Harness² uczyły się w trakcie jednokrotnego przepływu zbioru testowego. Twórcy podają przewagę Harness² o 7,6 pkt nad własnym przebiegiem referencyjnym, z 95-proc. przedziałem od +1,7 do +13,4.
• CL-Bench: na eksploracji bazy danych MWM osiąga 0,795 dokładności wobec 0,580 dla baseline’u in-context. W pokerze MWM wygrywa 3,08 big blinda na rękę, a uczenie in-context 2,51.
• ServeLearnBench (624 zgłoszenia obsługi klienta w sklepie przy ukrytej, zmieniającej się polityce): MWM dostaje 45,3 w testach z ukrytą polityką, najlepsza dotąd metoda uczenia z tabeli wyników (CH) 28,7, a oracle znający politykę 89,2.

Warto zwrócić uwagę na wynik negatywny. Adapter zawierający tylko prompt zdobył na tej samej eksploracji bazy w CL-Bench 0,470, czyli mniej niż baseline 0,580. Sam fakt dodania warstwy nad agentem niczego więc nie gwarantuje, a o skuteczności decyduje metoda ewolucji. Marktechpost zastrzega też, że większość wyników to pojedyncze uruchomienia.

Wdrożenie

CLI obejmuje komendy check, train, eval, deploy i convert. hermit deploy przygotowuje przestrzeń roboczą dla Codex, Claude Code lub Pi. hermit convert eksportuje wytrenowany adapter jako natywną wtyczkę do Codex, Claude Code, Pi albo Hermes. Jako przykład Marktechpost podaje gotowy adapter do współpracy w Lean, który koordynuje pięciu agentów Codex wspólnie dowodzących jednego twierdzenia. Więcej szczegółów jest na stronie projektu.