TurboQuant: Google przełamuje barierę pamięci w dużych modelach językowych

Współczesne duże modele językowe (LLM) zmagają się z fizycznym ograniczeniem, które w branży określa się mianem „ściany pamięci”. Wąskim gardłem nie jest sama moc obliczeniowa, lecz przepustowość między pamięcią HBM a procesorem. Głównym winowajcą jest tak zwany KV cache (Key-Value cache) – mechanizm przechowujący kontekst rozmowy, którego rozmiar rośnie liniowo wraz z długością przetwarzanego tekstu. Google Research przedstawiło rozwiązanie tego problemu w postaci TurboQuant: algorytmu, który radykalnie kompresuje dane bez konieczności kosztownego douczania modelu.

Matematyczna rewolucja w kompresji wektorów

Tradycyjne metody redukcji wagi modeli, takie jak kwantyzacja wektorowa (VQ), wymagają zazwyczaj żmudnego procesu kalibracji na konkretnych zestawach danych. TurboQuant zrywa z tym schematem, będąc rozwiązaniem typu data-oblivious. Oznacza to, że algorytm nie musi „znać” danych, które przetwarza, aby skutecznie je kompresować. Sercem technologii jest zastosowanie losowej rotacji wektorów wejściowych, co sprowadza skomplikowane rozkłady danych do przewidywalnego rozkładu Beta. Dzięki temu każda współrzędna wektora może być traktowana niezależnie, co pozwala na błyskawiczną kwantyzację skalarną optymalną pod kątem błędu średniokwadratowego (MSE).

Precyzja bez kompromisów

Największym wyzwaniem przy kompresji KV cache jest zachowanie poprawności iloczynu skalarnego, który stanowi fundament mechanizmu uwagi (attention) w architekturze Transformer. Standardowa kwantyzacja zorientowana na minimalizację błędu MSE często wprowadza tak zwany błąd systematyczny (bias), który zniekształca wyniki operacji matematycznych. Inżynierowie Google rozwiązali to za pomocą dwuetapowego procesu TurboQuantProd. Pierwsza faza minimalizuje błąd odwzorowania, a druga – wykorzystująca zmodyfikowaną transformatę Johnsona-Lindenstraussa – koryguje pozostałości, zapewniając nieobciążony estymator iloczynu skalarnego.

Wydajność potwierdzona w testach

Wyniki empiryczne robią wrażenie. W testach na modelach Llama-3.1-8B oraz Ministral-7B, TurboQuant pozwolił na czterokrotną kompresję przy zachowaniu 100% trafności w rygorystycznym teście „Needle-In-A-Haystack” (igła w stogu siana) dla kontekstów sięgających 104 tysięcy tokenów. Model zachowywał się identycznie jak jego odpowiednik o pełnej precyzji, zużywając ułamek dostępnej pamięci. Co więcej, w przeciwieństwie do popularnej metody Product Quantization (PQ), TurboQuant eliminuje etap trenowania tak zwanych książek kodowych (codebooks), co skraca czas indeksowania niemal do zera.

Nowy standard dla infrastruktury AI

Innowacja Google to coś więcej niż teoretyczny sukces. TurboQuant zbliża się do matematycznej granicy Shannona, osiągając współczynniki zniekształceń bliskie ideałowi. Dla operatorów centrów danych i twórców modeli oznacza to możliwość obsługi znacznie dłuższych kontekstów przy niższych kosztach sprzętowych oraz ośmiokrotny wzrost szybkości generowania odpowiedzi. To milowy krok w stronę demokratyzacji potężnych modeli AI, które stają się lżejsze, szybsze i bardziej efektywne bez utraty swojej „inteligencji”.