Wielkie modele językowe: Czy po prostu zapamiętują, czy naprawdę się uczą?

Debata na temat zdolności zapamiętywania przez duże modele językowe (LLM) – i szerzej, przez generatywną sztuczną inteligencję – zyskuje na intensywności. Odpowiedź na pytanie, czy modele te po prostu odtwarzają dane treningowe dosłownie, stanowi klucz do zrozumienia ich prawdziwej natury i ograniczeń. Kiedy kończy się korzystne uczenie, a zaczyna problematyczne „kucie na pamięć”?

Koalicja badawcza, w skład której weszli naukowcy z Meta’s FAIR, Google DeepMind, Cornell i NVIDIA, podjęła się zadania rozwiania tych wątpliwości. Ich nowa praca badawcza zatytułowana „How much do language models memorize?” przedstawia rygorystyczne ramy matematyczne do pomiaru zapamiętywania, dostarczając zaskakujących wyników.

Problem definicji: Dlaczego dotychczasowe metody zawodzą?

Zanim będzie można skutecznie mierzyć, ile modele zapamiętują, konieczne jest precyzyjne zdefiniowanie samego pojęcia „zapamiętywania”. Okazuje się to zaskakująco trudne.

Fałsz ekstrakcji

Większość dotychczasowych prac definiuje zapamiętywanie poprzez ekstrakcję: jeśli model można skłonić do wygenerowania określonej sekwencji treningowej, oznacza to, że ją zapamiętał. Autorzy nowej pracy wskazują jednak na krytyczną wadę tego rozumowania. Współczesne LLM-y można zmusić do wygenerowania niemal dowolnego ciągu znaków za pomocą odpowiedniego zapytania. Jak zauważają, „fakt, że model coś generuje, niekoniecznie świadczy o zapamiętywaniu.”

Jako przykład można rozważyć następującą sytuację: jeśli modelowi zada się pytanie „Ile to jest 2^100?” i poprawnie odpowie on „1,267,650,600,228,229,401,496,703,205,376”, to czy zapamiętał on ten konkretny fakt, czy też nauczył się wykonywać potęgowanie? Definicja oparta na ekstrakcji nie jest w stanie rozróżnić tych fundamentalnie różnych scenariuszy.

Problem stabilności

Inne definicje opierają się na prywatności różnicowej lub funkcjach wpływu, mierząc, jak model zmienia się, gdy dodawany jest lub usuwany przykład treningowy. Te podejścia mają jednak swoje ograniczenia:

• Zależą w dużej mierze od algorytmu treningowego.
• Mierzą zachowanie w najgorszym przypadku, a nie typowe zapamiętywanie.
• Nie mogą być stosowane do pojedynczego modelu w izolacji.

Autorzy potrzebowali innej koncepcji – definicji, która potrafiłaby oddzielić zapamiętywanie od generalizacji, działałaby na poziomie pojedynczych próbek i byłaby niezależna od procesu treningowego. Ich nowa, oparta na kompresji metodologia, pozwoliła na przełamanie dotychczasowych barier i otwiera nowe perspektywy w badaniu zdolności uczenia się sztucznej inteligencji.