Koniec mitu małej skali. Dlaczego miniaturowe modele AI cierpią na cyfrową amnezję?

Zamiast rewolucji, dostaliśmy szklany sufit. Przez lata marzyliśmy o potężnej inteligencji zamkniętej w rozmiarze smartfona, ale najnowsze analizy ekspertów z Anthropic i Uniwersytetu Stanforda obnażają brutalną prawdę: małe modele nie tyle się uczą, co rozpaczliwie próbują nie zapomnieć tego, co już wiedzą. Mechanizm „update-and-forget” sprawia, że każda nowa, rzadka informacja jest natychmiast nadpisywana przez statystyczną papkę codziennych danych.

To kluczowy moment dla branży. Gigantyczny wyścig na parametry wyhamował, ustępując miejsca poszukiwaniom tańszych i mniejszych systemów. Jednak nowe dane pokazują, że miniaturyzacja bez precyzyjnego planu to ślepy zaułek. Przykładowo, w 2022 roku próg 60% w prestiżowym benchmarku MMLU wymagał potężnego modelu PaLM od Google z 540 mianami parametrów. Dziś mniejsze jednostki, jak Phi-3-mini od Microsoftu (3,8 mld parametrów), radzą sobie lepiej, ale wciąż borykają się z utratą rzadkich umiejętności.

Przekleństwo dominującej większości

Fundamentem problemu jest sposób zarządzania zasobami. W małych sieciach neuronowych panuje wieczny tłok. Badanie oparte na architekturze OLMo wykazało, że modele o skromniejszej liczbie parametrów po prostu nie potrafią utrwalić złożonych zadań. Zanim sygnał płynący z unikalnego problemu zdąży trwale zmodyfikować wagi sieci, zostaje „zadeptany” przez banalne, powtarzalne wzorce dominujące w treningu. To syzyfowa praca: model przyswaja regułę, by za chwilę ją zetrzeć na korzyść częściej występujących znaczków.

Precyzja bitowa zamiast gigantomanii

Okazuje się, że rozwiązanie nie tkwi tylko w dodawaniu kolejnych miliardów parametrów, ale w tym, jak dokładnie je zapisujemy. Jak zauważają badacze w serwisie Unite.ai: „Precyzja nie jest jedynie zmienną tła; fundamentalnie kształtuje efektywność działania modeli”. Optymalny punkt styku znaleziono w zakresie 7–8 bitów. To tam duże modele zachowują równowagę między wagą a zdolnością do rozumowania, unikając gwałtownych spadków wydajności po kwantyzacji.

Stabilność przez nasycenie

Większe modele wygrywają, bo szybciej nasycają się podstawami. Gdy sieć dysponuje miliardami parametrów, przestaje potrzebować ciągłych korekt dla najprostszych struktur. Uwalnia to „pojemność poznawczą” na analizę niszowych zagadnień. Dzięki temu duże modele osiągają stan grokking – moment, w którym zamiast „wkuwać” przykłady na pamięć, nagle chwytają ogólne reguły logiczne. Czasem jednak więcej nie znaczy lepiej; tak zwany paradoks odwrotnej skalowalności pokazuje, że zbyt długi czas „myślenia” nad prostym zadaniem może paradoksalnie obniżyć dokładność odpowiedzi.

Sztuczne kotwiczenie wiedzy

Czy to oznacza, że mała AI jest skazana na porażkę? Niekoniecznie. Sukcesy takich projektów jak Meta TinyLoRA (8 mld parametrów), który osiągnął imponujące 91% skuteczności w złożonej matematyce, sugerują inną drogę. Zamiast karmić modele wszystkim „jak leci”, trzeba sztucznie zwiększać gęstość rzadkich zadań w procesie nauki. Inną metodą, opisaną przez Google Research i UC Berkeley, jest sampling-based search. Zamiast budować większy mózg, wystarczy, że model będzie częściej sprawdzał własne wyniki. Krótka recepta? „Po prostu próbkuj więcej odpowiedzi”.

• Koszty generowania treści spadły w niektórych sektorach o dwa rzędy wielkości w ciągu dwóch lat.
• Zakres 7–8 bitów staje się nowym standardem wydajności dla modeli na dużą skalę.
• Strategiczne „kotwiczenie” rzadkich danych pozwala mniejszym modelom uniknąć cyfrowej amnezji.