BitNet Distillation: konwersja LLM do 1.58‑bit bez pełnego retrainu
Microsoft Research przedstawia BitNet Distillation — trzyetapowy pipeline, który przekształca istniejące modele FP16 w lekkie studenty z ternarnymi wagami (1.58 bit) zachowując jakość zbliżoną do nauczyciela i przyspieszając inferencję na CPU. Zgłaszane oszczędności pamięci sięgają 10×, a przyspieszenie CPU około 2.65×.
Read More