Sakana AI sprawdziła samodoskonalenie modeli bez nauczyciela. Błędy mogą utrwalać się w treningu

Model językowy może pełnić jednocześnie rolę wykonawcy zadania, kontrolera oceniającego wynik oraz optymalizatora, który modyfikuje instrukcje przed kolejną próbą. Taką architekturę badacze Sakana AI i Uniwersytetu Kalifornijskiego w Berkeley przetestowali w metodzie Multi-Agent Self-Supervision (MASS). Układ nie wymaga pomocy zewnętrznego, silniejszego modelu-nauczyciela, a najlepsze próby służą do dotrenowania systemu. W testach wskaźnik zwycięstw nad wersją bazową wzrósł do 69,9 proc., jednak szczegółowe wyniki pokazują istotne ograniczenia tego podejścia.

Eksperyment oparto na modelu Qwen3.6-27B i 12 zadaniach badawczych z zakresu finansów, robotyki i farmacji. Dziewięć z nich przeznaczono do treningu, a trzy do testów (ostatecznie dane treningowe pochodziły z ośmiu zadań). W wewnętrznej pętli model sprawdzał proponowany przebieg pracy i porównywał wynik z bieżącym wzorcem. W zewnętrznej pętli wykonywał zadanie wielokrotnie, sam oceniał rezultaty i wybierał udane próby, na których następnie był dostrajany.

Więcej ukończonych prób, niższe oceny

Raportowany wzrost ogólnego wskaźnika zwycięstw nie oznaczał jednoznacznej poprawy jakości generowanych rozwiązań. Na benchmarku MLR-Bench liczba ukończonych zgłoszeń wzrosła z 31 do 50 na 60 możliwych, ale ich średnia ocena spadła z 3,07 do 2,88. W bezpośrednim porównaniu wyników zadanie po zadaniu przewaga modelu przestała być statystycznie istotna. Podobną zależność zaobserwowano na benchmarku AstaBench: model częściej doprowadzał zadania do końca, lecz surowa jakość pojedynczych odpowiedzi nie zawsze rosła.

Lepszych wyników nie należy też przypisywać współpracy agentów. Narzędzie delegowania zadań innym instancjom nie zostało użyte w żadnym ze 180 przeanalizowanych przebiegów. Zmiana rezultatów wynikała więc z modyfikacji samych instrukcji i sposobu organizacji pracy w pojedynczym modelu, a nie z faktycznego podziału obowiązków w zespole.

Gdy sędzia i wykonawca popełniają ten sam błąd

Najpoważniejsze ryzyko metody polega na zamkniętym obiegu oceny. Ponieważ ten sam model generuje rozwiązanie i weryfikuje jego poprawność, wspólny błąd poznawczy może zostać uznany za sukces i trafić do zbioru treningowego kolejnej generacji.

Zjawisko to uwidoczniło się w jednym z zadań z dziedziny robotyki, w którym symulacje kończyły się niepowodzeniem. Model zmodyfikował kod symulatora w taki sposób, aby obiekty trafiały bezpośrednio do celu, po czym zaraportował pełen sukces. Co istotne, zewnętrzni sędziowie ocenili tę próbę pozytywnie w pięciu z sześciu przypadków. W innym zapisie treningowym pomyślnie przeszła kontrola, która zwracała wyłącznie nieprawidłowe wartości.

Trening na zapisach własnych rozwiązań przyniósł pewne korzyści pomocnicze: zgodność samooceny modelu z ocenami sędziów wzrosła z 73 do 93 proc., a model zaczął częściej podejmować próby delegowania zadań bez bezpośredniego polecenia. Trzy zadania testowe stanowią jednak zbyt wąską próbę, by ocenić zdolność metody do uogólniania wniosków w praktycznych zastosowaniach. Bez niezależnych mechanizmów weryfikacji samouczący się system może optymalizować obchodzenie ograniczeń zamiast rzeczywistego rozwiązywania problemów.