Koniec z czekaniem na GPU. C-LoRA przyspiesza trening modeli AI blisko trzykrotnie

Trenowanie modeli językowych przypominało dotąd powolne rzemiosło. Najpierw zbierasz dane, potem miesiącami trenujesz giganta, by na końcu wypuścić wersję, która i tak potrafi zaskoczyć błędami. Zespół Trajectory, we współpracy z UC Berkeley Sky Lab oraz Anyscale, postanowił rozbić ten linearny schemat. Ich nowa architektura C-LoRA (Continuous Multi-LoRA Training) wprowadza paradygmat uczenia ustawicznego, pozwalając modelom ewoluować na bazie bieżących interakcji w czasie rzeczywistym.

To wdrożenie trafia w idealny moment. Obecnie koszt GPU i potrzeba reagowania na feedback użytkowników w dniach, a nie miesiącach, stały się kluczowym wyzwaniem biznesowym. Jak zauważają autorzy projektu w repozytorium NovaSky-AI/SkyRL, branża odchodzi od rzadkich, ciężkich re-trainów na rzecz systemów, które uczą się „w locie”.

Koniec z marnotrawstwem zasobów

Głównym problemem systemów Reinforcement Learning (RL) jest ich niska efektywność. Klasyczne stosy technologiczne rezerwują ogromne zasoby dla jednego eksperymentu. Przy kolosach takich jak Qwen3.5-397B sama inicjalizacja i ładowanie wag może zająć ponad 30 minut, zanim proces w ogóle ruszy. Trajectory rozwiązuje to przez „multi-tenancy” – współdzielenie zasobów przez wiele procesów jednocześnie.

Kluczem są adaptery LoRA (Low-Rank Adaptation). Zamiast aktualizować miliardy parametrów, system zamraża główny model i trenuje jedynie lekkie warstwy adaptacyjne. Pozwala to na 10–20-krotną redukcję liczby trenowanych parametrów względem pełnego fine-tuningu. „Naszym celem było przesunięcie wąskiego gardła RL z kosztu inicjalizacji ogromnych modeli na efektywne współdzielenie jednego dużego modelu przez wiele równoległych eksperymentów” – wyjaśnia członek zespołu Trajectory.

Skok wydajności w praktyce

Wyniki robią wrażenie. Przy ośmiu równoległych przebiegach całkowita przepustowość eksperymentalna wzrosła 2,81 raza. W testach na modelu Qwen3-4B-Instruct przeprowadzonych na układach H200, system pokazał pazur w zadaniu matematycznym GSM8K. Dokładność modelu wzrosła z początkowych 40% do ponad 90% w zaledwie dziewięciu krokach treningu ciągłego.

Cena szybkości

Zysk w przepustowości ma swoją cenę. Przy maksymalnym obłożeniu czas trwania pojedynczego kroku treningowego rośnie z 191 do 500 sekund. To jednak świadomy kompromis – osiem takich procesów kończy się szybciej niż trzy uruchamiane jeden po drugim w tradycyjny sposób. Jak podkreśla badacz LLM pracujący z tą technologią: „Adaptery LoRA zmieniły ekonomię fine-tuningu – ruszamy mały promil parametrów i możemy robić to równolegle dla wielu zadań”.

Choć technologia najlepiej radzi sobie z modelami średniej wielkości, wielowątkowość wnioskowania (rollout) to duży krok w stronę autonomicznych agentów. Dzięki bibliotece vLLM i mechaniźmowi AdapterStore, system może błyskawicznie podmieniać parametry na GPU. Może to wkrótce oznaczać asystenta kodowania, który poprawia swoje błędy natychmiast po Twojej interwencji, bez czekania na nową wersję silnika przez pół roku.