Google Research wdraża WikiSkill: Pamięć o błędach jako klucz do wydajności agentów AI

Współczesne modele językowe cierpią na swoistą formę amnezji. Każda nowa sesja to czysta karta, a raz popełniony błąd w obliczeniach czy nawigacji po arkuszu kalkulacyjnym prawdopodobnie powtórzy się przy kolejnej próbie. Badacze z Google Research postanowili przełamać ten impas, prezentując WikiSkill – system, który wyposaża agentów AI w trwałą bazę wiedzy o ich własnej pracy.

Dlaczego to ważne właśnie teraz?

Obecnie największym wyzwaniem dla systemów autonomicznych nie jest brak surowej mocy obliczeniowej, ale niezdolność do wyciągania wniosków z porażek w czasie rzeczywistym. WikiSkill stanowi ramę, która pozwala agentom na długoterminowe uczenie się na podstawie doświadczeń, co radykalnie poprawia transfer umiejętności między różnymi zadaniami. To odejście od statycznych modeli na rzecz systemów, które dynamicznie budują własną bibliotekę kompetencji.

Struktura cyfrowego doświadczenia

Koncepcja WikiSkill realizuje wizję – o której wspominał m.in. Andrej Karpathy – stworzenia zewnętrznej warstwy pamięci dla AI. Zamiast modyfikować zamrożone wagi modelu, system tworzy strukturę, w której, jak piszą autorzy w publikacji na ArXiv, – WikiSkill oddziela surowe doświadczenie wykonania od zgromadzonej wiedzy i wykonywalnych umiejętności–.

System operuje na trzech poziomach:

• Raw Layer: niezmienne archiwum śladów wykonania.
• Wiki Layer: destylacja surowych danych we wzorce błędów i sprawdzone strategie.
• Skill Layer: gotowe instrukcje proceduralne wywoływane przez agenta.

Mechanizm ten działa niczym pętla samodoskonalenia. Specjalny moduł Wiki Maintainer analizuje porażki, a Skill Proposer sugeruje zmiany. Kluczowym elementem jest bramkowanie (gating) – każda nowa umiejętność przechodzi testy na osobnym zbiorze danych. Jeśli modyfikacja pogarsza wyniki, zostaje wycofana, ale wiedza o tym, dlaczego zawiodła, zostaje w bazie.

Skokowa poprawa skuteczności w liczbach

Testy przeprowadzone na modelach Qwen, Gemma oraz Gemini 1.5 Flash pokazały, że to praktyczne obejście problemu ciągłego uczenia się przynosi kolosalne efekty. W przypadku Gemini 1.5 Flash średnia skuteczność wzrosła z 49,5% do 68,1%. Największe korzyści odnotowano w zadaniach matematycznych, gdzie wyniki podskoczyły z 33% do ponad 72%, oraz przy operacjach na arkuszach (wzrost z 50,5% do 76,6%).

Co ciekawe, korzyści skalują się wraz z wielkością modelu. Choć mniejsze jednostki, jak Qwen-4B, zyskują zdolność dorównania większym rywalom, to właśnie potężniejsze modele najlepiej wdrażają wypracowane strategie. Interesująca jest też transferowalność: umiejętności jednego modelu można przenieść do drugiego, co pozwala budować uniwersalne biblioteki kompetencji dla AI.

Ograniczenia i perspektywy

Mimo sukcesów, framework nie jest lekiem na wszystko. W zadaniach wymagających analizy bardzo długich dokumentów zyski są skromniejsze. Mniejsze modele wciąż miewają problemy z wykonywaniem wieloetapowych strategii wyszukiwania, wracając do starych nawyków. Niemniej jednak, WikiSkill dowodzi, że budowa trwałej pamięci zewnętrznej to obecnie najkrótsza droga do stworzenia systemów, które naprawdę uczą się na własnych błędach.