Dlaczego większe modele AI są mądrzejsze? Badacze z MIT odkryli wyjaśnienie praw skalowania

W sektorze sztucznej inteligencji od dawna obowiązuje niepisana zasada: im więcej parametrów i danych, tym niższy błąd predykcji. Ta korelacja, znana jako „prawa skalowania” (Neural Scaling Laws), stanowi fundament strategii gigantów technologicznych, inwestujących miliardy dolarów w coraz potężniejsze klastry obliczeniowe. Choć skuteczność tej metody potwierdzono setki razy, mechanizm, który sprawia, że modele stają się coraz doskonalsze wraz ze wzrostem ich „szerokości”, pozostawał sferą domysłów. Badanie zaprezentowane przez zespół z MIT na konferencji NeurIPS 2025 rzuca nowe światło na tę kwestię, wskazując na geometryczny fenomen zwany superpozycją.

Geometria gęstego upakowania wiedzy

Złożoność ludzkiego języka narzuca modelom AI ogromne wymagania. Systemy te muszą pomieścić dziesiątki tysięcy tokenów i jeszcze więcej abstrakcyjnych pojęć w przestrzeni wewnętrznej, która dysponuje zaledwie kilkoma tysiącami wymiarów. Zgodnie z klasyczną geometrią, w trójwymiarowej przestrzeni można umieścić tylko trzy pojęcia bez ich wzajemnego zakłócania. Modele językowe omijają to ograniczenie, stosując superpozycję – technikę „ściskania” wielu znaczeń w tych samych wymiarach poprzez ich nakładanie się. Wektory pojęć nachodzą na siebie, tworząc kontrolowany szum, co pozwala systemowi przechowywać więcej informacji, niż wynikałoby to z jego fizycznej struktury.

Przełom w badaniach Yizhou Liu, Ziming Liu oraz Jeffa Gore’a polega na odróżnieniu dwóch rodzajów tej strategii. Dotychczas sądzono, że modele operują w trybie „słabej superpozycji”, gdzie perfekcyjnie zapamiętują tylko najczęstsze pojęcia, a resztę ignorują. Jednak analiza modeli takich jak GPT-2, Qwen2.5 czy Pythia wykazała, że rynkową rzeczywistością jest „silna superpozycja”. W tym wariancie AI nie ucieka od rzadszych danych, lecz zapisuje absolutnie wszystko, godząc się na minimalny, wzajemny szum między wektorami. To właśnie redukcja tego szumu przy powiększaniu modelu sprawia, że błąd predykcji spada tak przewidywalnie.

Kiedy potęga skalowania napotka ścianę?

Z analizy MIT wynika, że podwojenie szerokości modelu skutkuje niemal połowicznym spadkiem błędu, co jest bezpośrednio skorelowane z geometryczną relacją 1/m. Co istotne, zespół badawczy przewiduje moment, w którym skalowanie przestanie przynosić dotychczasowe efekty. Nastąpi to w chwili, gdy szerokość modelu zrówna się z rozmiarem jego słownika. Wówczas każde pojęcie otrzyma wystarczająco dużo miejsca, by istnieć niezależnie, bez nakładania się na inne, a potęgowe prawo spadku błędów po prostu wygaśnie.

Wyzwania dla bezpieczeństwa i interpretowalności

Odkrycie to ma istotne implikacje dla inżynierii systemów AI. Architektury, które aktywnie wymuszają gęstsze upakowanie wiedzy – jak choćby nGPT od Nvidii – mogą oferować wyższą wydajność przy tych samych kosztach obliczeniowych. Jest jednak i ciemna strona tego medalu. Im ciaśniej pojęcia są upakowane wewnątrz sieci neuronowej, tym trudniejsze staje się ich rozdzielenie przez człowieka. Zjawisko to utrudnia interpretowalność modeli, co w prostej linii uderza w badania nad bezpieczeństwem sztucznej inteligencji. Zrozumienie, dlaczego dany model podjął konkretną decyzję, staje się niemal niemożliwe, gdy jego procesy myślowe są ze sobą nierozerwalnie splecione w wielowymiarowej superpozycji.