Przełom w zrozumieniu sztucznej inteligencji: od pozycji do znaczenia w uczeniu się języka

Zdolności językowe współczesnych systemów sztucznej inteligencji, takich jak ChatGPT czy Gemini, budzą podziw. Płynność konwersacji, niemal dorównująca ludzkiej, to fakt. Mimo to, wewnętrzne mechanizmy, które umożliwiają tak spektakularne rezultaty, pozostawały w dużej mierze tajemnicą. Najnowsze badanie opublikowane w „Journal of Statistical Mechanics: Theory and Experiment” (JSTAT) rzuca nowe światło na ten złożony proces.

Badacze odkryli, że sieci neuronowe, a zwłaszcza modele transformatorowe, przechodzą zaskakującą transformację w swoim podejściu do rozumienia języka. Początkowo, trenowane na niewielkich zbiorach danych, algorytmy koncentrują się na pozycji słów w zdaniu – niczym dziecko, które dopiero uczy się czytać i bazuje na prostych regułach gramatycznych, by wywnioskować relacje między wyrazami (podmiot, orzeczenie, dopełnienie). Ta strategia jest naturalna, zwłaszcza w językach o relatywnie sztywnym szyku wyrazów, jak angielski, gdzie „Mary eats the apple” jasno wskazuje na podmiot, czasownik i dopełnienie.

Jednak, jak wyjaśnia Hugo Cui, naukowiec z Uniwersytetu Harvarda i pierwszy autor badania, z czasem, w miarę dostarczania sieci neuronowej coraz większych ilości danych treningowych, dochodzi do gwałtownej zmiany. Po przekroczeniu pewnego krytycznego progu, algorytm nagle przestawia się z analizy pozycji słów na interpretację ich znaczenia. Ta faza przejściowa, której mechanizm badacze porównują do fizycznego zjawiska zmiany stanu skupienia – na przykład wody zmieniającej się w parę – jest kluczowym momentem w rozwoju zdolności językowych sztucznej inteligencji.

„Kiedy projektowaliśmy tę pracę, chcieliśmy po prostu zbadać, jakie strategie – lub ich kombinacje – przyjmują sieci neuronowe. To, co odkryliśmy, było nieco zaskakujące: poniżej pewnego progu sieć opierała się wyłącznie na pozycji, a powyżej – tylko na znaczeniu” – tłumaczy Cui. To uświadamia, że proces uczenia się nie jest płynną ewolucją, lecz serią gwałtownych skoków jakościowych. Z perspektywy fizyki statystycznej, która bada zachowania zbiorowe systemów złożonych z wielu cząstek, to zjawisko można opisać jako przejście fazowe. W przypadku sieci neuronowych, złożonych z miliardów „węzłów” (neuronów), interakcja tych elementów prowadzi do powstania złożonej inteligencji, którą można opisać metodami statystycznymi.

Zrozumienie, że te zmiany strategii uczenia się zachodzą w tak gwałtowny sposób, ma ogromne implikacje praktyczne. Choć modele badane w pracy są uproszczone w porównaniu do tych, z którymi codziennie obcujemy, dostarczają cennych wskazówek. Wiedza ta może w przyszłości przyczynić się do projektowania bardziej efektywnych, bezpiecznych i przewidywalnych sieci neuronowych. Może pozwolić na optymalizację procesów treningowych, a w konsekwencji – na tworzenie jeszcze bardziej zaawansowanych i stabilnych modeli językowych. Badanie, przeprowadzone przez Hugo Cui, Freyę Behrens, Florenta Krzakalę i Lenkę Zdeborovą, pod tytułem „A Phase Transition between Positional and Semantic Learning in a Solvable Model of Dot-Product Attention”, zostało opublikowane w JSTAT i zaprezentowane na konferencji NeurIPS 2024.