NVIDIA Gated DeltaNet-2: Koniec dyktatury pamięci w dużych modelach językowych
NVIDIA zaprezentowała Gated DeltaNet-2 (GDN-2), nową warstwę liniowej atencji, która uderza w najsłabszy punkt dzisiejszych modeli AI: ogromny apetyt na pamięć operacyjną. Zespół badawczy inżynierów z Santa Clara rzucił właśnie wyzwanie popularnym architekturą z rodziny Mamba, udowadniając, że kluczem do wydajności nie jest samo usuwanie zbędnych danych, ale chirurgiczna precyzja w edytowaniu tego, co model już wie.
Dlaczego to ma znaczenie właśnie teraz? Żyjemy w szczycie wyścigu o redukcję kosztów infrastruktury. Intel i Microsoft pokazują właśnie technologię Cooperative Vectors w DirectX, a społeczność open-source testuje algorytm TurboQuant od Google, który obiecuje 6-krotną redukcję KV cache. W tym kontekście GDN-2 to nie tylko naukowa ciekawostka, ale element szerszego frontu walki o VRAM, który obejmuje wszystko: od inteligentnych tekstur w grach po potężne chatboty działające na lokalnych GPU.
Precyzyjne cięcie zamiast hurtowego usuwania
Tradycyjne transformery duszą się przy długich tekstach przez rosnący w nieskończoność KV cache. Modele rekurencyjne radziły sobie z tym, kompresując dane do stałego rozmiaru, ale często traciły ważne detale. GDN-2 rozwiązuje ten problem przez rozdzielenie dwóch operacji, które do tej pory były ze sobą sklejone. Zamiast jednej bramki decydującej o wszystkim, system posiada niezależne mechanizmy dla każdego kanału: jeden precyzyjnie wymazuje nieistotne klucze, a drugi zapisuje nowe wartości.
Badacze wytrenowali model o parametrach 1.3B na zbiorze 100 miliardów tokenów FineWeb-Edu. Wyniki w testach rozumowania językowego mówią same za siebie — GDN-2 uzyskał średnią 53,11 punktów. Dla porównania, konkurencyjny model Mamba-3 MIMO zatrzymał się na wyniku 52,39. To pokazuje, że architektura NVIDII lepiej radzi sobie z gęstością informacji.
Test igły w stogu siana
Prawdziwy test sił przyszedł jednak w benchmarku RULER, który sprawdza zdolność odnajdywania faktów w długich sekwencjach. Wskaźnik S-NIAH-3 przy sekwencjach o długości 2000 tokenów wystrzelił z poziomu 63,2 (w poprzedniej wersji KDA) do imponujących 89,8. Oznacza to, że model niemal o 30% rzadziej gubi wątek w długich rozmowach.
Wszystko to dzieje się w czasie, gdy NVIDIA forsuje podobną filozofię oszczędności w grafice. Zjawisko to dobrze widać w technologii RTX Neural Texture Compression, o której redakcja PPE.pl pisała, że „można zmniejszyć siedmiorotnie użycie VRAM karty graficznej i pamięci systemowej RAM”. Podobieństwo jest uderzające – zarówno w grach, jak i w tekście, NVIDIA stawia na rekonstrukcję danych przez AI zamiast ich surowego przechowywania.
Wydajność ma swoją cenę
Technicznie GDN-2 opiera się na wydajnych jadrach Triton, co pozwala na trenowanie blokowe. Jednak podobnie jak w przypadku renderingu neuronowego, gdzie zredukowanie zajętości tekstur z 272 MB do zaledwie 11,37 MB wiąże się z dodatkowym kosztem dla procesora graficznego, tak i tutaj zaawansowane bramkowanie wymaga zoptymalizowanego kodu. NVIDIA udostępniła już skrypty treningowe na platformie GitHub, dając społeczności narzędzia do budowania modeli, które łączą liniowe skalowanie z precyzją, jakiej wcześniej oczekiwaliśmy tylko od najcięższych transformerów.
