Przyszłość agentowej sztucznej inteligencji: Czy małe modele językowe zastąpią gigantów?

Systemy agentowe AI, choć wciąż zyskujące na popularności – ponad połowa wiodących firm IT już z nich korzysta – stoją przed fundamentalnym pytaniem o swoją optymalną architekturę. Dotychczas dominowały duże modele językowe (LLM), cenione za zdolności konwersacyjne i wszechstronność. Jednak w miarę jak agenci AI coraz częściej wykonują powtarzalne, wyspecjalizowane zadania, efektywność tego podejścia zaczyna być kwestionowana.

SLM-y – efektywność w centrum uwagi

Naukowcy z NVIDII i Georgia Tech rzucają nowe światło na ten problem, argumentując, że małe modele językowe (SLM) są nie tylko wystarczająco potężne dla wielu zadań agentowych, ale także znacznie bardziej efektywne i ekonomiczne. Ich teza skupia się na przekonaniu, że SLM-y są lepiej przystosowane do powtarzalnych i często prostych operacji, które stanowią trzon działalności większości agentów AI.

Podczas gdy LLM-y pozostają niezastąpione w ogólnych zastosowaniach konwersacyjnych, badacze proponują hybrydowe podejście, w którym dobór modelu zależy od złożoności zadania. Kwestionują obecne, niemal bezwarunkowe poleganie na LLM-ach w systemach agentowych, proponując ramy do płynnego przejścia na SLM-y.

Praktyczne zalety małych modeli

Kluczowym argumentem przemawiającym za SLM-ami jest ich zdolność do efektywnego działania na urządzeniach konsumenckich. Przekłada się to na niższe opóźnienia, zmniejszone zużycie energii i łatwiejszą możliwość dostosowania. W kontekście agentów AI, gdzie wiele zadań charakteryzuje się powtarzalnością i specyficznym zakresem, SLM-y okazują się często nie tylko wystarczające, ale wręcz bardziej pożądane.

Praca naukowców wskazuje na potrzebę modułowych systemów agentowych, w których SLM-y byłyby domyślnym wyborem, a LLM-y byłyby używane tylko w uzasadnionych przypadkach. Takie podejście promuje bardziej zrównoważone, elastyczne i inkluzywne metody tworzenia inteligentnych systemów.

Wyzwania i perspektywy

Nie brakuje jednak głosów broniących dominacji LLM-ów. Argumentuje się, że ich przewaga w ogólnych zadaniach językowych wynika z lepszego skalowania i możliwości semantycznych. Niektórzy wskazują również na ekonomię skali, twierdząc, że centralne wnioskowanie z LLM-ów jest bardziej opłacalne. Istnieje także pogląd, że przewaga LLM-ów jest po prostu rezultatem ich wczesnego startu i skoncentrowanej na nich uwagi branży.

Badanie NVIDII i Georgia Tech kontruje te argumenty, podkreślając adaptacyjność SLM-ów, niższe koszty operacyjne i ich zdolność do efektywnego obsłużenia ściśle zdefiniowanych podzadań w systemach agentowych. Niemniej jednak, szersze przyjęcie SLM-ów napotyka przeszkody, takie jak istniejące inwestycje w infrastrukturę LLM, stronniczość benchmarków ewaluacyjnych na korzyść LLM-ów oraz niższą świadomość publiczną na temat potencjału mniejszych modeli.

Droga do zmiany – ramy przejścia

Aby umożliwić płynne przejście od LLM-ów do mniejszych, wyspecjalizowanych modeli w systemach agentowych, badacze proponują konkretne ramy. Proces rozpoczyna się od bezpiecznego zbierania danych użytkowych, z zachowaniem prywatności. Następnie dane są oczyszczane i filtrowane. Za pomocą grupowania identyfikowane są wspólne zadania, dla których SLM-y mogą przejąć odpowiedzialność. Na podstawie potrzeb zadaniowych wybierane są odpowiednie SLM-y i dostrajane za pomocą spersonalizowanych zbiorów danych, często z wykorzystaniem efektywnych technik, takich jak LoRA. W niektórych przypadkach wyniki uzyskane z LLM-ów mogą służyć jako wytyczne do szkolenia SLM-ów. Co kluczowe, proces ten nie jest jednorazowy – modele powinny być regularnie aktualizowane i udoskonalane, aby pozostać w zgodzie z ewoluującymi interakcjami użytkownika i zadaniami.

W kierunku zrównoważonej i efektywnej AI

Zmiana paradygmatu z dużych na małe modele językowe to nie tylko kwestia techniczna, ale także krok w stronę bardziej zrównoważonej i zasobooszczędnej sztucznej inteligencji, szczególnie w przypadku zadań powtarzalnych i wąsko wyspecjalizowanych. Badacze z NVIDII i Georgia Tech wierzą, że SLM-y są często wystarczająco potężne, bardziej opłacalne i lepiej dopasowane do tych ról niż uniwersalne LLM-y. W przypadkach wymagających szerszych zdolności konwersacyjnych, zaleca się stosowanie kombinacji modeli. Artykuł jest otwartym zaproszeniem do dyskusji, która może przyczynić się do bardziej przemyślanego i odpowiedzialnego wykorzystania technologii AI w przyszłości. Pełne wyniki badań dostępne są w pracy naukowej dostępnej online.