Koniec marnowania mocy. NVIDIA udowadnia, że 4 bity wystarczą do trenowania gigantów
NVIDIA właśnie rozbiła szklany sufit wydajności w trenowaniu sieci neuronowych. Amerykańscy inżynierowie pokazali, że można zejść do precyzji 4-bitowej (NVFP4) bez poświęcania jakości modelu, co do tej pory uchodziło za techniczne tabu. Podczas testów na hybrydowym modelu Nemotron-Nano-12B-v2 o 12 miliardach parametrów, udało się utrzymać stratę walidacyjną w granicach zaledwie 1–1,5% względem standardowego formatu FP8. To sygnał, że nadchodząca era układów Blackwell wyciśnie z każdego wata energii znacznie więcej niż dotychczas.
Dlaczego to istotne właśnie teraz?
Wyścig zbrojeń w AI przeniósł się z czystej skali na optymalizację kosztów i energii. Przy kapitalizacji przekraczającej 4 bln USD, NVIDIA musi dostarczać narzędzia, które pozwolą partnerom takim jak OpenAI budować infrastrukturę na miliony GPU bez bankructwa przy rachunkach za prąd. NVFP4 to konkretna odpowiedź na to zapotrzebowanie. Specjaliści od sprzętu podpowiadają, że docelowe układy muszą natywnie wspierać int4, by sprostać wymaganiom rynku, a publikacja Nvidii to pierwszy dowód na to, że da się w ten sposób trenować modele przez rekordowe 10 bilionów tokenów.
Architektura NVFP4 kontra ograniczenia mikroskalowania
Przejście na 4 bity to potencjał na dwu- lub nawet trzykrotny wzrost przepustowości operacji arytmetycznych na architekturze Blackwell. Problem tkwił w potęgowaniu błędów przy długich cyklach. Rozwiązanie? Ewolucja mikroskalowania (MX). NVIDIA zmniejszyła rozmiar bloku z 32 do 16 elementów i zamiast sztywnych potęg dwójki, wykorzystała format E4M3. Dodatkowy poziom skalowania na poziomie całego tensora (FP32) stabilizuje proces, dzięki czemu każda próbka danych zachowuje precyzję bliską FP8.
Technologie stabilizujące proces treningowy
Kwantyzacja wszystkich operacji liniowych bez zabezpieczeń skończyłaby się katastrofą. Inżynierowie zostawili około 16% warstw – głównie końcowe bloki – w wysokiej precyzji BF16. To one są najbardziej wrażliwe na szum. Zastosowano też losowe transformaty Hadamarda (RHT), które „rozmarowują” problematyczne wartości nadmiarowe (outliery) w gradientach wag. Do tego doszło stochastyczne zaokrąglanie, które eliminuje błędy systematyczne typowe dla tradycyjnych metod matematycznych.
Wydajność w praktyce: model 12B na mecie
Liczby mówią same za siebie. W teście MMLU-Pro 5-shot model NVFP4 wykręcił 62,58%, podczas gdy baza FP8 osiągnęła 62,62%. Różnica jest statystycznie nieistotna. Jak wskazuje użytkownik śledzący badania na r/LocalLLaMA: „Badania wskazują, że wykorzystanie 4-bitowego pretreningu na modelu 12B Mamba Transformer pozwala osiągnąć dokładność porównywalną z FP8, przy jednoczesnym znacznym obniżeniu wymagań obliczeniowych i pamięciowych”.
Co więcej, porównanie z klasycznym formatem MXFP4 ujawniło brutalną prawdę o efektywności: aby osiągnąć tę samą jakość, starsza metoda wymagałaby o 36% więcej tokenów. To realna oszczędność czasu i pieniędzy. Równocześnie NVIDIA wdraża techniki takie jak Skip Softmax, które w połączeniu z nowymi formatami dają nawet 1,4-krotne przyspieszenie fazy prefill przy gigantycznych kontekstach rzędu 128 tysięcy tokenów. NVIDIA nie tylko produkuje chipy – ona redefiniuje matematykę, na której opiera się nowoczesna inteligencja.
