Kolejna rewolucja w LLM: nowy algorytm ze stanforda uwalnia pełny potencjał Twojego modelu

Wszyscy korzystamy z LLM-ów – od chatbotów po asystentów kodowania. Modele językowe takie jak GPT-4 i Llama stały się wszechobecne. Ale jest pewien haczyk: generowanie odpowiedzi przez LLM-y może być nawet pięciokrotnie wolniejsze niż mogłoby być.

Winowajcą jest zbyt ostrożne podejście do planowania zasobów w obliczu niepewności dotyczącej długości generowanych sekwencji. Standardowe algorytmy predykcji alokują zasoby w oparciu o założenie najbardziej pesymistycznego scenariusza.

Nowa praca badaczy ze Stanford University i HKUST prezentuje algorytm, który może radykalnie zmniejszyć opóźnienia i zwiększyć przepustowość LLM. Bez zmiany modelu czy sprzętu. Przechodząc od pesymizmu do adaptacyjnego optymizmu, Amin osiąga wydajność zbliżoną do idealnego harmonogramu.

Ukryte wąskie gardło w działaniu LLM

Praca LLM to nie tylko obliczenia, to także optymalizacja operacyjna. Model przetwarza zapytanie w dwóch fazach: szybki „prefill” do obsługi danych wejściowych, a następnie „decode”, gdzie generuje odpowiedź token po tokenie. Długość wejścia jest znana, ale długość wyjścia? To loteria. Może to być krótkie „tak” lub długa rozprawka.

Ta niepewność komplikuje planowanie zasobów. LLM działają na GPU z ograniczoną pamięcią podręczną KV (key-value), która przechowuje pośrednie obliczenia. Aby uniknąć przepełnień, harmonogram musi mądrze przewidywać i alokować pamięć. Ale przewidywania nie są idealne; często przyjmują formę przedziałów (np. „od 50 do 500 tokenów”).

Standardowe rozwiązanie? Konserwatyzm. Algorytmy takie jak „Amax” zakładają, że każde zapytanie osiągnie maksymalną przewidywaną długość. Zapobiega to awariom, ale prowadzi do ogromnego niewykorzystania zasobów: pakiety są małe, GPU bezczynne, a opóźnienia rosną. Eksperymenty na zbiorach danych, takich jak LMSYS-Chat-1M, pokazały jak wydajność Amax drastycznie spadała wraz ze wzrostem niepewności predykcji. Czasami opóźnienia były 5 razy wyższe niż optymalne.

Dlaczego to ważne? Wnioskowanie jest energochłonne i kosztowne. Przy miliardach zapytań dziennie, nawet niewielkie nieefektywności przekładają się na miliony strat i sfrustrowanych użytkowników.

Amin: optymistyczny harmonogram, który uczy się w locie

Zespół naukowców z Peking University, Stanford i HKUST proponuje algorytm „Amin”, który odwraca sytuację. Zamiast bać się najgorszego, Amin zakłada, że dane wyjściowe każdego żądania mają minimalną przewidywaną długość. Maksymalizuje to wstępne rozmiary partii, upychając więcej żądań do pamięci podręcznej KV.

Sam optymizm może spowodować przepełnienia, jeśli dane wyjściowe będą zbyt długie. Sekret Amina tkwi w zdolności adaptacji:

• Dynamiczne uściślanie: W miarę generowania tokenów Amin aktualizuje swój „pseudo” dolny limit dla każdego żądania w czasie rzeczywistym. Jeśli żądanie wygenerowało już np. 100 tokenów, zna rzeczywistą długość, co pozwala na doprecyzowanie decyzji dotyczących planowania.
• Uporządkowane usuwanie: Gdy pamięci brakuje, Amin nie wpada w panikę. Sortuje aktywne zadania według ich bieżących pseudo dolnych limitów i najpierw usuwa te z najmniejszym postępem (w przypadku remisów losowo). Chroni to zadania, które są bardziej zaawansowane, minimalizując straty wynikające z restartów.
• Brak wymaganych górnych limitów: Co istotne, Amin w ogóle ignoruje górny limit. Przewidywanie dokładnych górnych limitów jest trudne i podatne na błędy, ale dolne limity są łatwiejsze i bardziej niezawodne. To czyni Amina praktycznym do wdrożenia w rzeczywistych warunkach.

Algorytm działa w czasie O(M log M) na krok (gdzie M to rozmiar pamięci podręcznej KV), dzięki czemu jest wydajny nawet w dużych systemach.

Dowód w wydajności: blisko optymalnej i solidnej

O tym, co wyróżnia Amina, decydują rygorystyczne obliczenia i eksperymenty.

Zespół badawczy analizuje „współczynnik konkurencyjności” Amina, porównując jego opóźnienia z optymalnym harmonogramem z perspektywy czasu (H-SF), który zna wszystkie rzeczywiste długości wyjściowe z wyprzedzeniem. Udowadniają, że Amin osiąga współczynnik O(log(α⁻¹)), gdzie α to stosunek dolnego do górnego limitu (miara niepewności predykcji). Wraz ze wzrostem niepewności (α maleje), współczynnik Amax rośnie nieograniczenie – w najgorszym przypadku O(α⁻¹⁵). Amin pozostaje logarytmiczny, zapewniając ograniczoną nieefektywność.

Podsumowanie

Pesymizm zbyt długo spowalniał wnioskowanie LLM. Wykorzystując swój adaptacyjny optymizm, Amin pokazuje, że możemy wycisnąć niemal idealną wydajność z niedoskonałych prognoz. Amin wyznacza więc nową poprzeczkę dla wydajności wnioskowania w warunkach niepewności.