Minimalizm w służbie rozumu: TinyLoRA udowadnia, że 13 parametrów wystarczy do nauki logiki

W świecie generatywnej sztucznej inteligencji, gdzie dominują wyścigi na liczbę miliardów parametrów i potężne klastry obliczeniowe, najnowsze odkrycie badaczy z FAIR (Meta), Uniwersytetu Cornella oraz Carnegie Mellon University brzmi niemal jak prowokacja. Udowodnili oni, że duży model językowy (LLM) o architekturze Qwen2.5-7B może znacząco poprawić swoje zdolności rozumowania matematycznego dzięki aktualizacji składającej się z zaledwie… 13 parametrów. To tylko 26 bajtów danych w formacie bf16, co redefiniuje nasze pojęcie o tym, jak powstaje „wiedza” w sieciach neuronowych.

Pożegnanie z ograniczeniami standardowego LoRA

Dotychczasowy standard w sferze niskonakładowego douczania modeli, czyli Low-Rank Adaptation (LoRA), choć genialny w swej prostocie, napotykał na twardą barierę skalowalności. Nawet przy najniższym stopniu kompresji (rank 1) liczba trenowalnych parametrów wciąż rosła wraz z szerokością warstw modelu. Przykładowo, dla popularnej Lamy 3 w wersji 8B, dolna granica aktualizacji wynosiła około 3 milionów parametrów. TinyLoRA omija tę przeszkodę, budując na fundamencie LoRA-XS i wykorzystując dekompozycję macierzy (SVD) zamrożonych wag.

Kluczem do sukcesu okazało się zastąpienie tradycyjnych macierzy trenowalnych niskowymiarowym wektorem, rzutowanym przez stały, losowy tensor. Dzięki mechanizmowi wiązania wag (weight tying) badacze mogą skalować aktualizację aż do pojedynczego parametru, który jest współdzielony przez wszystkie moduły w modelu. To podejście zmienia paradygmat: douczanie staje się nie tyle budowaniem nowej architektury, co subtelnym sterowaniem istniejącym już potencjałem modelu.

Dlaczego wzmocnienie wygrywa z nadzorowaniem?

Jednym z najbardziej frapujących wniosków płynących z publikacji jest przewaga uczenia przez wzmacnianie (RL) nad tradycyjnym uczeniem nadzorowanym (SFT) w reżimach o ekstremalnie niskiej przepustowości parametrów. Zespół zauważył, że modele trenowane przez SFT wymagają od 100 do 1000 razy większej liczby parametrów, by osiągnąć te same rezultaty co RL.

Przyczyną jest „gęstość informacyjna” sygnału. SFT próbuje zmusić model do naśladowania ludzkich demonstracji, przejmując przy tym szum stylistyczny i zbędne struktury językowe. Z kolei algorytmy RL, takie jak GRPO, operują na rzadszym, ale znacznie czystszym sygnale zwrotnym. Skupiają się wyłącznie na celu (np. poprawnym wyniku działania matematycznego), co pozwala nawet tak mikroskopijnym aktualizacjom jak 13 parametrów skutecznie nakierować model na właściwą ścieżkę rozumowania. W efekcie Qwen2.5-7B uzyskał 91,8% dokładności w benchmarku GSM8K – wynik niemal identyczny z tym, który osiąga się przy pełnym, kosztownym douczaniu modelu.

Praktyczne wskazówki dla inżynierów AI

Badania nad TinyLoRA przyniosły kilka nieoczywistych wniosków technicznych. Okazało się, że optymalny stopień zamrożonej dekompozycji (SVD rank) wynosi zaledwie 2 – wyższe wartości wprowadzały zbyt wiele stopni swobody, co utrudniało optymalizację małego wektora. Co więcej, tzw. „tiling”, czyli współdzielenie parametrów między sąsiednimi warstwami o podobnej głębokości, okazało się skuteczniejsze niż sztywny podział na typy modułów (np. Query czy Key).

Ciekawie prezentuje się również kwestia precyzji zapisu danych. W przypadku tak drastycznych ograniczeń objętościowych format fp32 okazał się bardziej wydajny bit po bicie niż lżejsze bf16 czy fp16. Sugeruje to, że im mniej mamy miejsca na modyfikację modelu, tym większa musi być precyzja każdej wprowadzanej zmiany. Sukces TinyLoRA prowadzi do intrygującej konkluzji: im większe będą przyszłe modele, tym łatwiejsze może okazać się ich „programowanie” za pomocą zaledwie kilku bajtów informacji.