Przełom w rozumieniu AI: Kiedy modele językowe zaczynają naprawdę rozumieć znaczenie?

Zdolność współczesnych systemów sztucznej inteligencji do prowadzenia płynnych konwersacji jest zdumiewająca. Modele takie jak ChatGPT czy Gemini zaskakują naturalnością interakcji, co stawia pytanie o mechanizmy leżące u podstaw ich „rozumienia” języka. Mimo imponujących osiągnięć, dokładna natura wewnętrznych procesów prowadzących do tak zaawansowanych wyników pozostaje w dużej mierze niewyjaśniona.

Nowe światło na tę zagadkę rzuca badanie opublikowane w Journal of Statistical Mechanics: Theory and Experiment (JSTAT). Wyniki wskazują, że sieci neuronowe, początkowo opierające się na pozycji słów w zdaniu, przechodzą nagłe i rewolucyjne przemiany w strategii rozumienia. Po osiągnięciu krytycznego progu danych treningowych, systemy te gwałtownie przestawiają się na analizę semantyczną, czyli na znaczenie słów.

Główny autor badania, Hugo Cui, badacz postdoktorancki z Uniwersytetu Harvarda, porównuje to zjawisko do fazy przejścia w układach fizycznych – na przykład momentu, w którym woda zamienia się w parę. Początkowo, podobnie jak dziecko uczące się czytać, sieć neuronowa skupia się na składni i kolejności wyrazów. W języku angielskim, gdzie podmiot często poprzedza orzeczenie, a to z kolei dopełnienie, jest to naturalna strategia. Przykładem jest proste zdanie „Mary eats the apple”, gdzie program na początku polegałby na znajomości kolejności słów, żeby zrozumieć ich relacje.

„To jest pierwsza strategia, która spontanicznie pojawia się podczas treningu sieci” – wyjaśnia Cui. „Jednak w naszym badaniu zaobserwowaliśmy, że jeśli trening jest kontynuowany i sieć otrzymuje wystarczająco dużo danych, w pewnym momencie – po przekroczeniu progu – strategia nagle się zmienia: sieć zaczyna polegać na znaczeniu”.

To odkrycie ma kluczowe znaczenie, ponieważ odnosi się do mechanizmu samo-uwagi (self-attention mechanism), który jest podstawowym budulcem modeli transformatorowych, leżących u podstaw każdego nowoczesnego modelu językowego. Modele te, zaprojektowane do przetwarzania sekwencji danych, takich jak tekst, wykorzystują mechanizm samo-uwagi do oceny znaczenia każdego słowa w kontekście pozostałych.

Badacze z zaskoczeniem odkryli, że sieć albo polegała wyłącznie na pozycji słów, albo wyłącznie na znaczeniu, w zależności od tego, czy próg danych treningowych został przekroczony. Nie zaobserwowano żadnej strategii pośredniej, co podkreśla gwałtowny charakter tej przemiany.

Perspektywa fizyki statystycznej, która bada układy złożone z ogromnej liczby elementów, okazuje się niezwykle użyteczna w opisie zachowania sieci neuronowych, składających się z milionów połączonych „węzłów”. Inteligencja systemów AI wyłania się z kolektywnej interakcji tych neuronów, co pozwala zastosować do ich analizy metody statystyczne i opisać gwałtowną zmianę zachowania jako fazę przejścia.

„Teoretyczne zrozumienie, że zmiana strategii następuje w ten sposób, jest ważne” – podkreśla Cui. „Nasze sieci są uproszczone w porównaniu do złożonych modeli, z którymi ludzie codziennie wchodzą w interakcje, ale mogą nam dać wskazówki do zrozumienia warunków, które powodują, że model stabilizuje się na jednej strategii lub drugiej. Ta wiedza teoretyczna może w przyszłości pomóc w uczynieniu sieci neuronowych bardziej efektywnymi i bezpieczniejszymi”.

Badania Hugo Cui, Freyi Behrens, Florenta Krzakali i Lenki Zdeborovej, zatytułowane „A Phase Transition between Positional and Semantic Learning in a Solvable Model of Dot-Product Attention”, zostały opublikowane w JSTAT i przedstawione na konferencji NeurIPS 2024. Otwierają one nowe perspektywy nie tylko na fundamentalne działanie AI, ale także na projektowanie przyszłych systemów, które mogą być lżejsze, bardziej przewidywalne i bezpieczniejsze.