QwenGyre ma ograniczyć przestoje GPU podczas wielogodzinnego treningu agentów

QwenGyre to opracowany przez zespół Alibaba Qwen framework do uczenia agentów przez wzmacnianie. Nie jest nowym modelem językowym, lecz architekturą treningową zaprojektowaną dla systemów, które wykonują wieloetapowe zadania programistyczne, korzystają z zewnętrznych narzędzi i generują setki tysięcy tokenów. W przedstawionych testach pojedyncze przebiegi obejmowały średnio około 700 tysięcy tokenów, a najdłuższe zbliżały się do miliona.

Framework przetestowano na dwóch modelach: Qwen 3.6 122B oraz Qwen 3.8 2.4T. Jego głównym celem jest ograniczenie dwóch wąskich gardeł typowych dla długo działających agentów — bezczynności kart graficznych oczekujących na zakończenie zadań oraz powielania danych przy rozgałęzionych ścieżkach decyzyjnych.

Elastyczne przełączanie komórek GPU

W tradycyjnym układzie współdzielonym (Colocate) te same zasoby odpowiadają za generowanie odpowiedzi agenta oraz właściwy trening modelu. Faza uczenia rozpoczyna się dopiero wtedy, gdy zakończy się najwolniejszy ze wszystkich równoległych przebiegów. Ponieważ czas pracy agentów nad złożonymi problemami mocno się różni, znaczna część procesorów graficznych stoi bezczynnie, czekając na najdłuższe procesy.

Układ asynchroniczny (Async) rozdziela pule GPU na stałe, co uniemożliwia doraźne przekazywanie niewykorzystanej mocy obliczeniowej. QwenGyre dzieli klaster na niezależne komórki GPU, które mogą płynnie zmieniać rolę. Jedna komórka stale przechowuje główną kopię wag modelu oraz stan optymalizatora, a pozostałe mogą obsługiwać generowanie lub dołączać do obliczeń treningowych w miarę zwalniania zasobów.

Harmonogram monitoruje stan zadań i decyduje o przekierowaniu zewnętrznych wywołań przez proxy, co pozwala zarządzać ruchem bez modyfikowania kodu środowiska agenta. Podczas takiego przełączenia pamięć podręczna KV może zostać przesłana bezpośrednio przez sieć RDMA, bez konieczności ponownego przeliczania kontekstu. Zgodnie z pomiarami autorów przełączenie komórki z generowania do treningu zajmowało średnio 8,52 sekundy, a powrót do generowania — 3,46 sekundy.

Ograniczanie wspólnych ścieżek w drzewie trajektorii

Drugi mechanizm dotyczy sposobu zapisu danych treningowych. Agent kodujący w trakcie pracy często uruchamia podagentów, ponawia nieudane próby lub modyfikuje kontekst, co tworzy rozgałęzione drzewo operacji ze wspólnym początkiem. Zapisywanie każdej odnogi jako osobnego, pełnego ciągu tokenów prowadziłoby do kosztownego powielania tych samych fragmentów kodu.

QwenGyre rejestruje strukturę działań jako drzewo trajektorii i ogranicza liczbę zachowywanych ścieżek do maksymalnie pięciu na jedno wykonanie zadania, obliczając wspólne prefiksy tylko raz. Z danych autorów wynika, że ten limit skrócił czas fazy forward-backward o 25,2 proc., nie obniżając przy tym jakości uzyskiwanych wyników względem wariantu bez limitu.

Wyniki zależą od charakteru zadania

Eksperymenty przeprowadzono z wykorzystaniem środowiska Claude Code (wersja 2.1.220) jako harnessu, przy deklarowanym zachowaniu równych budżetów GPU oraz porównywalnego poziomu nieaktualności danych dla zestawianych metod. Skala przyspieszenia różniła się jednak wyraźnie w zależności od benchmarku i wielkości modelu:

• W testach modelu Qwen 3.6 122B framework osiągnął przyspieszenie od 1,36 do 1,85 raza względem układu Colocate, przy czym najwyższy wynik odnotowano w teście TerminalBench.
• Dla modelu Qwen 3.8 2.4T w teście NL2RepoBench przewaga nad Colocate wyniosła 1,21 raza, a nad układem Async — 1,78 raza. Cały trening obejmujący 48 kroków trwał w QwenGyre 75,42 godziny, wobec 91,47 godziny w Colocate i 134,55 godziny w Async.

Mniejsza przewaga nad Colocate w teście NL2RepoBench wynikała z faktu, że duża część zadań zbliżała się do maksymalnego limitu czasu, co zmniejszało pulę wcześniej zwalnianych GPU. W tym konkretnym teście odsetek zadań rozwiązanych przez model 2.4T wzrósł z 52,48 do 58,54 proc. po 48 krokach treningowych.

W materiale badawczym nie ujawniono dokładnego modelu ani specyfikacji użytych akceleratorów graficznych. Zespół Qwen nie udostępnił również publicznego kodu frameworka, co oznacza, że przedstawione wyniki nie zostały dotąd zweryfikowane w niezależnych replikacjach.