Procedury ważniejsze niż fakty. Nowe spojrzenie na efektywność agentów AI

Wrzucanie do modeli językowych kolejnych paczek danych z nadzieją, że staną się mądrzejsze, to ślepa uliczka. Zespół z Princeton University oraz UC San Diego wziął pod lupę tzw. biblioteki umiejętności i po analizie ponad 8 tysięcy testów doszedł do zaskakujących wniosków. Wbrew intuicji, agenci AI nie stają się lepsi dlatego, że nagle „wiedzą więcej”. Stają się skuteczniejsi, bo dostają precyzyjną instrukcję obsługi samego procesu.

To odkrycie ma fundamentalne znaczenie dla sposobu, w jaki budujemy dzisiejszą sztuczną inteligencję. Zamiast skupiać się na pompowaniu w systemy faktografii, inżynierowie muszą zrozumieć, że „umiejętności to forma pamięci proceduralnej: kodują sposób działania, a nie to, co się wydarzyło”. Raport opublikowany na arXiv jasno wskazuje, że bez uporządkowania schematów działania, nawet najpotężniejsze modele gubią się w prostych zadaniach technicznych.

Potęga metody nad informacją

Zjawisko to, nazwane przez naukowców „uziemieniem proceduralnym” (procedural grounding), odpowiada za 65,7% przypadków, w których agenci wyposażeni w gotowe scenariusze radzili sobie lepiej od tych zdanych na własną intuicję. W przeciwieństwie do surowych danych, instrukcje te precyzyjnie określają kolejność kroków, niezbędne narzędzia oraz punkty kontrolne. Efekt? Drastyczna redukcja błędów technicznych, takich jak niewłaściwe formatowanie wyników czy błędna konfiguracja środowiska pracy. Co ciekawe, bezpośrednie dostarczanie faktów wpłynęło na poprawę wyników jedynie w 4,5% badanych scenariuszy.

Paradoks nadmiaru i trudności z selekcją

Mimo ewidentnych zalet, stosowanie bibliotek umiejętności nie jest pozbawione ryzyka. Badanie ujawniło niepokojący trend dotyczący skalowalności: im bogatszy staje się zasób dostępnych instrukcji, tym gorzej agenci radzą sobie z ich poprawnym wyborem. Statystyki są bezlitosne. Przy małych zestawach (5 pozycji) precyzja doboru umiejętności wynosiła niespełna 30%, jednak przy rozszerzeniu biblioteki do 100 wpisów, wskaźnik ten drastycznie spadł do poziomu zaledwie 3,3%. Modele gubią się w semantycznych podobieństwach, co prowadzi do mechanicznego stosowania procedur, które zupełnie nie przystają do bieżącego zadania.

W stronę inteligentnego cyklu życia umiejętności

Wyniki te wymuszają zmianę myślenia o architekturze agentów AI. Zamiast gromadzić coraz to nowsze rekordy w bazach wiedzy, inżynierowie powinni skupić się na doskonaleniu metod wyszukiwania i krytycznej weryfikacji stosowanych instrukcji. Naukowcy argumentują, że przyszłość autonomicznych asystentów leży w sprawnym zarządzaniu „cyklem życia” umiejętności – od ich selektywnego tworzenia, przez precyzyjne przywoływanie z pamięci, aż po elastyczne zastosowanie. Bez rozwiązania problemu wąskiego gardła, jakim jest selekcja odpowiedniego schematu działania, nawet najbardziej rozbudowane biblioteki pozostaną dla sztucznej inteligencji jedynie cyfrowym balastem.