AbstRaL: nowy krok w stronę abstrakcyjnego rozumowania modeli językowych

Rozumowanie w sztucznej inteligencji, zwłaszcza w dużych modelach językowych (LLM), pozostaje kluczowym wyzwaniem. Mimo imponujących osiągnięć w przetwarzaniu języka naturalnego, ich zdolność do uogólniania i elastycznego dostosowywania się do nowych, choćby minimalnie zmienionych problemów, jest często ograniczona. Modele te, szczególnie te mniejsze, potrafią dobrze radzić sobie z poznanymi problemami, lecz zawodzą, gdy zadanie zostanie choćby nieznacznie zmienione — na przykład przez zmianę nazw, liczb czy dodanie pozornie nieistotnych informacji. To właśnie jest słabość, znana jako słaba generalizacja poza rozkładem (OOD), która prowadzi do znaczących spadków dokładności, nawet w prostych zadaniach matematycznych.

Badania nad zwiększeniem odporności LLM na takie zmiany skupiały się dotychczas na rozbudowie zbiorów danych treningowych, angażując znaczące zasoby obliczeniowe. Próbowano również stosować techniki takie jak 'abstraction-of-thought’ czy 'chain-of-thought’, aby nauczyć modele rozumowania krok po kroku. Jednakże, prawdziwa innowacja leży w podejściu, które odrywa modele od zapamiętywania powierzchniowych detali na rzecz koncentrowania się na fundamentalnej logice problemu.

AbstRaL: uczenie abstrakcji poprzez wzmacnianie

Naukowcy z Apple i EPFL zaproponowali nowatorską metodę o nazwie AbstRaL, która ma za zadanie nauczyć LLM abstrakcyjnego rozumowania za pomocą uczenia przez wzmacnianie. Zamiast generować ogromne ilości różnorodnych przykładów treningowych, co generuje wysokie koszty obliczeniowe, AbstRaL pomaga modelom zrozumieć podstawową strukturę problemów rozumowania, łącząc abstrakcyjne wzorce z narzędziami symbolicznymi.

Metoda AbstRaL opiera się na czterostopniowym procesie. W pierwszym etapie kluczowe zmienne w pytaniu są identyfikowane i zastępowane symbolicznymi znacznikami. Następnie, używając specjalnie przygotowanego zbioru danych GranulAR, model uczy się rozumowania krok po kroku, posługując się tymi abstrakcyjnymi symbolami. W kolejnym kroku, z symbolicznej odpowiedzi wydobywana jest ogólna struktura rozumowania (abstrakcja). Na koniec, ta abstrakcja jest wykorzystywana wraz z oryginalnymi wartościami do obliczenia poprawnej odpowiedzi. Dodatkowo, zastosowanie uczenia przez wzmacnianie z dwoma rodzajami nagród – za poprawność i za symboliczne podobieństwo – pozwala modelowi na generowanie dokładniejszych i niezależnych od kontekstu wzorców rozumowania.

Testy i wyniki: obiecująca poprawa odporności

Badacze przetestowali AbstRaL na zadaniach matematycznych, wykorzystując modele takie jak Llama-3 i Qwen2. Szkolenie odbywało się na zbiorze danych GranulAR, który przepisuje problemy matematyczne w abstrakcyjnej, symbolicznej formie. Odporność modeli sprawdzano na zmodyfikowanych wersjach problemów GSM8K, gdzie zmieniano liczby, nazwy i sposób sformułowania pytań.

W porównaniu do tradycyjnych metod, takich jak standardowe metody promptingowe (np. Chain-of-Thought), AbstRaL wykazało znacznie większą spójność i mniejszy spadek dokładności w przypadku zmian w danych wejściowych. Jest to szczególnie widoczne w przypadku mniejszych modeli, gdzie AbstRaL znacząco poprawiło ich niezawodność. Uzyskane wyniki wskazują, że nauczanie modeli abstrakcyjnego rozumowania sprawia, że są one bardziej elastyczne i mniej zależne od zapamiętanych wzorców, co jest kluczowe dla rozwoju naprawdę inteligentnych i niezawodnych systemów AI.

Podsumowując, AbstRaL to metoda znacząco poprawiająca abstrakcyjne rozumowanie w LLM, czyniąc je bardziej odpornymi na powierzchniowe zmiany w problemach. W przeciwieństwie do tradycyjnego dostrajania modeli czy augmentacji danych, AbstRaL wykorzystuje uczenie przez wzmacnianie, aby szkolić modele na racjonałach GranulAR, które łączą ideę sokratycznej chain-of-thought ze szczegółową abstrakcją. Takie podejście pomaga modelom ignorować powierzchowne zakłócenia i lepiej łączyć się z narzędziami symbolicznymi. Testy na złożonych benchmarkach GSM8K pokazały, że AbstRaL znacząco redukuje spadki wydajności w przypadku zmian rozkładu danych, co jest szczególnie ważne w kontekście skalowalności i praktycznego zastosowania mniejszych modeli AI.