NVIDIA PivotRL: Nowy framework optymalizuje szkolenie agentów AI przy czterokrotnie niższym koszcie

Współczesne duże modele językowe (LLM), choć imponują możliwościami generatywnymi, wciąż napotykają na szklany sufit w zadaniach agentowych o długim horyzoncie czasowym, takich jak inżynieria oprogramowania czy złożona nawigacja w sieci. Dotychczas badacze stali przed trudnym wyborem: mogli postawić na efektywne kosztowo nadzorowane dostrajanie (SFT), które jednak łatwo traci zdolność do generalizacji poza dane treningowe, lub na pełne uczenie ze wzmocnieniem (E2E RL). To drugie zapewnia wysoką precyzję, ale wymaga gigantycznych zasobów obliczeniowych ze względu na konieczność ciągłego generowania pełnych scenariuszy (ang. rollouts) dla każdej aktualizacji parametrów. Nvidia zaprezentowała rozwiązanie tego problemu w postaci frameworku PivotRL.

Precyzyjne uderzenie zamiast metody siłowej

Istota PivotRL polega na odejściu od trenowania na całych trajektoriach działań na rzecz skupienia się na tak zwanych punktach zwrotnych (ang. pivots). Zamiast przetwarzać każdą interakcję agenta, system identyfikuje stany, w których lokalne decyzje modelu wykazują największą wariancję wyników. Z perspektywy matematycznej są to momenty, gdzie polityka modelu napotyka największe trudności – tam, gdzie wynik może być skrajnie różny w zależności od wybranej akcji. Poprzez odfiltrowanie mało istotnych kroków, PivotRL koncentruje sygnał uczący w miejscach, które realnie wpływają na sukces misji, co pozwala uniknąć „pustych przebiegów” procesora.

Funkcjonalna nagroda zamiast sztywnej składni

Jednym z najczęstszych problemów w szkoleniu agentów AI jest wymóg ścisłego dopasowania do wzorca tekstowego. PivotRL zastępuje to podejście nagrodami funkcjonalnymi (ang. functional rewards). W praktyce oznacza to, że jeśli agent ma wykonać zadanie w terminalu, system nie sprawdza, czy wpisana komenda jest identyczna z tą w bazie danych, lecz weryfikuje, czy jej wykonanie przyniosło pożądany efekt. Wykorzystanie weryfikatorów specyficznych dla danej dziedziny pozwala modelowi na większą kreatywność i elastyczność, co bezpośrednio przekłada się na lepsze radzenie sobie w sytuacjach, których AI nie widziała podczas treningu.

Stabilność poza domeną i wydajność w praktyce

Krytycznym problemem SFT jest tak zwane katastrofalne zapominanie – sytuacja, w której model, ucząc się nowych umiejętności, na przykład programowania, traci biegłość w matematyce czy logice. Nvidia udowodniła za pomocą twierdzeń o minimalnej zmianie dywergencji KL, że PivotRL skutecznie mityguje to zjawisko. W testach na bazie Qwen3-30B model osiągnął wzrost precyzji o ponad 14 punktów procentowych w zadaniach agentowych, zachowując niemal nienaruszone wyniki w testach ogólnych (QA). Dla porównania, tradycyjne SFT powodowało spadek wydajności w zadaniach pozadomenowych o blisko 10 punktów procentowych.

Z punktu widzenia biznesowego najważniejsze są jednak oszczędności czasu i energii. PivotRL wykazał zdolność do osiągania parametrów wydajnościowych porównywalnych z pełnym uczeniem ze wzmocnieniem, zużywając przy tym czterokrotnie mniej kroków generatywnych. W rzeczywistych warunkach testowych przełożyło się to na 5,5-krotne skrócenie czasu szkolenia przy zachowaniu tej samej infrastruktury sprzętowej. To przełom, który może znacząco przyspieszyć wdrażanie wyspecjalizowanych asystentów AI w przemyśle i usługach.