BitNet Distillation: konwersja LLM do 1.58‑bit bez pełnego retrainu

Co to jest BitNet Distillation?

BitNet Distillation to praktyczne rozwiązanie dla problemu konwersji uprzednio wytrenowanych modeli w pełnej precyzji do ekstremalnie skompresowanej reprezentacji 1.58 bit (ternarne wagi) bez konieczności pełnego retrainu od zera. Zespół Microsoft Research łączy zmiany architektoniczne, krótkie dalsze trenowanie oraz distylację sygnałów, aby ograniczyć utratę jakości, którą obserwuje się przy bezpośredniej kwantyzacji FP16 do 1.58 bit, zwłaszcza w miarę wzrostu rozmiaru modelu.

Trzy etapy konwersji

Pipeline składa się z trzech spójnych kroków, każdy adresuje inną przyczynę niepowodzeń w ekstremalnej kwantyzacji.

Pierwszy etap to wprowadzenie SubLN — dodatkowej normalizacji wewnątrz każdego bloku Transformera, umieszczonej przed projekcjami wyjściowymi MHSA i FFN. SubLN stabilizuje skalę stanów ukrytych, co zmniejsza zmienność aktywacji trafiających do skwantowanych projekcji i ułatwia optymalizację po sprowadzeniu wag do ternarnych wartości.

Drugi etap to kontynuacja pretrainingu na ogólnym korpusie (zespół używa 10 miliardów tokenów z FALCON), krótkiproces, którego celem nie jest pełne przetrenowanie modelu, lecz przesunięcie rozkładu wag w kierunku struktur sprzyjających ternarnym ograniczeniom. Dzięki temu drobne gradienty podczas późniejszego fine‑tuningu łatwiej powodują przełączanie wag między -1, 0 i 1.

Trzeci etap to distylacja z dwóch sygnałów: logits i relacji uwagi. Ścieżka logits wykorzystuje temperowane KL do dopasowania rozkładów tokenów nauczyciela i studenta. Druga ścieżka przenosi relacje Q, K, V zgodnie z formułą MiniLM/MiniLMv2 — co ważne, nie wymaga dopasowania liczby głów uwagi i pozwala wybrać pojedynczą warstwę do transferu relacji. Ablacje pokazują, że połączenie obu sygnałów daje najlepsze rezultaty.

Co pokazują wyniki

Badania obejmują zadania klasyfikacyjne (MNLI, QNLI, SST‑2) oraz streszczenia (CNN/DailyMail) i testują backbone’y Qwen3 o rozmiarach 0.6B, 1.7B i 4B parametrów. Dla tych konfiguracji BitNet Distillation potrafi osiągnąć metryki porównywalne z FP16, podczas gdy bezpośrednie fine‑tuningowanie w 1.58 bit obniża jakość, a spadek pogłębia się wraz ze wzrostem modelu.

Na poziomie wydajności student osiąga około 2.65× szybszą inferencję na CPU i redukcję pamięci rzędu 10×. W implementacji aktywacje są kwantowane do INT8, a do propagacji gradientów przez kwantyzator użyto Straight Through Estimator. Autorzy podkreślają zgodność pipeline’u z metodami post‑trainingowymi takimi jak GPTQ czy AWQ — które można nałożyć dodatkowo, by uzyskać kolejne oszczędności.

Dodatkowy wniosek praktyczny: distylacja z silniejszego nauczyciela przynosi większe korzyści, co sugeruje sens łączenia małych studentów 1.58 bit z większymi modelami FP16, o ile są dostępne.

Krytyczne uwagi i ograniczenia

Rzetelność wyników jest wysoka w obrębie przeprowadzonych eksperymentów, ale trzeba zachować ostrożność przy generalizacji. Zestaw testowy obejmuje klasyfikację i krótkie streszczenia; nie ma w nim szerokiego spektrum zadań generatywnych, długich kontekstów ani oceny odporności na przykłady spoza rozkładu. W praktyce zachowanie modelu w zadaniach wymagających precyzyjnej generacji lub obsługi długich sekwencji może być inne.

Podane przyspieszenie 2.65× odnosi się do CPU i zależy od jakości implementacji kernelów oraz od konkretnego sprzętu. Obserwowane korzyści na GPU mogą być mniejsze, zwłaszcza jeśli infrastruktura nie obsługuje efektywnie INT8 z ternarnymi wagami. Fakt, że autorzy dostarczają zoptymalizowane jądra (bitnet.cpp), zmniejsza jednak barierę integracji dla zespołów produkcyjnych.

Warto też pamiętać o koszcie krótkiego kontynuowanego pretrainingu: 10 miliardów tokenów to kompromis między efektywnością a kosztami obliczeniowymi. Dla niektórych organizacji może to być znaczący wydatek, zwłaszcza jeśli zamierzają konwertować wiele modeli.

Znaczenie dla wdrożeń

BitNet Distillation to praktyczny krok w kierunku użytecznych, mocno skompresowanych modeli na brzegu i w środowiskach on‑prem. Połączenie architektonicznej poprawki (SubLN), niewielkiej kolejnej fazy pretrainingu i dwukierunkowej distylacji adresuje znane słabości ekstremalnej kwantyzacji i upraszcza migrację istniejących instalacji FP16 do formatu znacznie tańszego pamięciowo.

Dla zespołów produktowych ważne są dwie cechy: możliwość zachowania jakości zbliżonej do FP16 oraz dostępność zoptymalizowanych kernelów i narzędzi integracyjnych. Możliwość nakładania GPTQ/AWQ na gotowego studenta daje dodatkową elastyczność w poszukiwaniu kompromisu między jakością a oszczędnościami zasobów.

BitNet Distillation nie rozwiązuje wszystkich problemów ekstremalnej kwantyzacji, ale dostarcza praktyczny, dobrze udokumentowany przepis na konwersję modeli bez pełnego retrainu. Dla zastosowań, gdzie pamięć i koszty obliczeń ważą więcej niż minimalne ryzyko spadku jakości, to podejście ma realne zastosowanie.