Alibaba przełamuje szklany sufit modeli rozumujących. Algorytm FIPO uczy AI autorefleksji

W rozwoju dużych modeli językowych (LLM) nastąpił moment, w którym proste zwiększanie mocy obliczeniowej przestaje przynosić oczekiwane rezultaty w obszarze logicznego rozumowania. Tradycyjne metody uczenia przez wzmacnianie (RL) opierały się dotąd na binarnym systemie nagród – model otrzymywał informację zwrotną dopiero na samym końcu wygenerowanej odpowiedzi. Problem polegał na tym, że system traktował każdy element tekstu, od kluczowego zwrotu akcji po zwykły przecinek, z jednakową wagą. Zespół inżynierów Qwen z Alibaba Group postanowił to zmienić, prezentując algorytm Future-KL Influenced Policy Optimization (FIPO).

Precyzyjna dystrybucja nagród zamiast rzutu monetą

Głównym ograniczeniem dotychczasowych metod, takich jak popularne GRPO, był fakt, że modele szybko osiągały pułap swoich możliwości, a ich łańcuchy myślowe (Chain-of-Thought) przestawały się wydłużać. FIPO rozwiązuje ten problem poprzez dynamiczne ważenie tokenów. Zamiast oceniać wynik końcowy, algorytm analizuje, jak dany element tekstu wpływa na dalszy proces generowania treści. Jeżeli konkretny krok logiczny otwiera drogę do poprawnego rozwiązania, model otrzymuje większą premię. Z kolei ślepe uliczki są karane, co zmusza AI do bardziej selektywnego i strategicznego budowania argumentacji.

Co istotne, nowa metoda eliminuje potrzebę stosowania osobnych modeli pomocniczych (tzw. modeli wartości), które były standardem w podejściach opartych na PPO. Takie rozwiązanie nie tylko upraszcza proces treningowy, ale przede wszystkim rozwiązuje problem „wycieku” danych z modeli zewnętrznych, co często zaburzało czystość eksperymentów i utrudniało obiektywną ocenę postępów samego algorytmu.

Od naiwnych schematów do wielokrotnej weryfikacji

Inżynierowie zaobserwowali fascynującą ścieżkę ewolucji modeli trenowanych za pomocą FIPO. W początkowej fazie system tworzy jedynie puste szablony, które imitują planowanie, ale kończą się halucynacjami. Z czasem model przechodzi do liniowego rozwiązywania zadań, co jest typowe dla standardowych systemów AI. Prawdziwy przełom następuje jednak w trzeciej i czwartej fazie treningu.

Dzięki FIPO modele zaczęły spontanicznie wykazywać zachowania, których nie było w ich programie początkowym: zaczęły sprawdzać własne wyniki. W zaawansowanym stadium treningu AI, po dojściu do rozwiązania, potrafi wrócić do początku zadania i spróbować innej metody – na przykład przejść z operacji algebraicznych na interpretację geometryczną – aby upewnić się, że wynik jest spójny. To zachowanie, przypominające ludzką autorefleksję, wyłoniło się naturalnie jako strategia optymalizacji nagrody.

Skok wydajności w świecie matematyki

Efekty wdrożenia FIPO są mierzalne i znaczące. W testach na benchmarku matematycznym AIME 2024 model Qwen2.5-32B trenowany nowym algorytmem osiągnął skuteczność na poziomie 58 procent, wyprzedzając zarówno DeepSeek-R1-Zero, jak i o1-mini od OpenAI. To imponujący wynik, biorąc pod uwagę, że model bazowy nie miał wcześniej kontaktu z syntetycznymi danymi dotyczącymi długich łańcuchów myślowych.

Warto jednak zachować pewną dozę sceptycyzmu typową dla krytycznej analizy technologii. Choć algorytm świetnie radzi sobie w matematyce, zespół Qwen otwarcie przyznaje, że nie wiadomo jeszcze, jak FIPO sprawdzi się w pisaniu kodu czy logice symbolicznej. Dłuższe łańcuchy myślowe – przekraczające u Alibaby 10 tysięcy tokenów – wiążą się również z wyższym zapotrzebowaniem na moc obliczeniową w czasie pracy modelu. Niemniej jednak, zapowiedź udostępnienia systemu jako open-source sugeruje, że chiński gigant chce uczynić z FIPO nowy standard w optymalizacji procesów myślowych sztucznej inteligencji.