Sztuczna inteligencja uczy się samodzielnie rozwiązywać problemy. Bez udziału człowieka

Sztuczna inteligencja nieustannie robi postępy, wciąż jednak istnieją obszary, które stanowią wyzwanie. Jednym z nich jest nauczenie modeli AI zaawansowanego rozumowania, czyli rozwiązywania problemów krok po kroku. Zespół z chińskiej firmy DeepSeek AI ogłosił w czasopiśmie "Nature" przełom – stworzyli model R1, który uczy się rozumować samodzielnie, bez interwencji człowieka.

Tradycyjne podejście do trenowania AI w zakresie rozumowania polega na naśladowaniu ludzkiego procesu rozwiązywania problemów. To jednak żmudny proces, wymagający prezentowania modelowi niezliczonych przykładów. Co więcej, efektywność takiego systemu jest ograniczona jakością i obciążeniami danych wprowadzonych przez człowieka.

Naukowcy z DeepSeek AI zastosowali odmienną technikę – uczenie ze wzmocnieniem. W tym podejściu model uczy się poprzez próby i błędy, otrzymując nagrody za poprawne odpowiedzi. To z kolei motywuje go do samodzielnego poszukiwania strategii rozwiązywania problemów.

"Zamiast uczyć model, jak rozwiązywać problem, dostarczamy mu odpowiednich bodźców, a on autonomicznie rozwija zaawansowane strategie" – wyjaśniają autorzy publikacji.

Model DeepSeek R1 trenowano na bazie zadań matematycznych, programistycznych i naukowych o wysokim stopniu trudności. Jedyną informacją zwrotną, jaką otrzymywał, był sygnał o poprawności ostatecznej odpowiedzi. W trakcie treningu zaobserwowano wykształcanie umiejętności takich jak weryfikacja własnych wyników czy testowanie różnych strategii poszukiwania rozwiązania. Model zaczął nawet używać słów takich jak "czekaj", co wskazywało na autorefleksję podczas procesu myślowego. Strategie prowadzące do prawidłowej odpowiedzi były wzmacniane, a te błędne – eliminowane.

Wyniki okazały się imponujące. R1 osiągnął lepsze rezultaty w zadaniach matematycznych, programistycznych i naukowych niż starsze modele trenowane z udziałem człowieka. Szczególnie godny uwagi jest wynik 86,7% dokładności w American Invitational Mathematics Examination (AIME) 2024 – prestiżowym konkursie matematycznym dla najzdolniejszych uczniów szkół średnich.

Autorzy badania przyznają, że model ma pewne ograniczenia. W przypadku zapytań w językach innych niż angielski zdarzało mu się mieszać języki, a proste problemy bywały niepotrzebnie komplikowane. Niemniej jednak, po usunięciu tych niedociągnięć, model AI, który potrafi samodzielnie rozumować, może otworzyć nową erę bardziej kompetentnych i autonomicznych systemów.