Błąd danych syntetycznych: Richard Sutton ostrzega przed iluzją skalowania AI

Richard Sutton nie owija w bawełnę. Współtwórca uczenia ze wzmocnieniem i laureat Nagrody Turinga 2024, uznaje obecny kierunek rozwoju AI za ślepą uliczkę. Podczas gdy branżowi giganci pompują miliardy dolarów w budowanie coraz większych modeli szkolonych na danych wygenerowanych przez inne algorytmy, Sutton krótko ucina te starania: ‘To po prostu wielki błąd’.

Dlaczego ta perspektywa jest istotna właśnie teraz? Branża uderzyła w ‘ścianę danych’ – publicznie dostępne zasoby internetu praktycznie się wyczerpały. Próba zastąpienia ich danymi syntetycznymi (czyli symulacjami) staje się dominującą strategią, ale Sutton, prowadząc swoje nowe laboratorium Oak Lab w Toronto, twierdzi, że to droga donikąd. Zamiast uczyć się świata, zamykamy AI w klatce ludzkich uproszczeń.

Hipoteza Wielkiego Świata

Głównym problemem jest przepaść między złożonością rzeczywistości a jakimkolwiek modelem, który próbujemy stworzyć. Sutton i Khurram Javed, z którym założył Oak Lab w 2026 roku, forsują ‘hipotezę wielkiego świata’. Ich zdaniem świat jest masowo bardziej złożony niż jakikolwiek agent czy symulator. Kiedy tworzymy syntetyczne środowisko do szkolenia drona, nieuchronnie wprowadzamy błędy w parametrach fizycznych lub pomijamy interakcje z innymi ludźmi. Sutton zauważa przytomnie, że nie da się wygenerować danych opisujących stany wewnętrzne drugiego człowieka.

Wąskie gardło ludzkiej wiedzy

Sutton krytykuje obecne podejście do LLM-ów, nazywając je zaledwie ‘ćwiartką inteligencji’. Choć modele te udowodniły potęgę obliczeniową, wymagają one zaangażowania ludzi w ocenę jakości generowanych treści. To tworzy błędne koło: zamiast pozwolić systemowi uczyć się bezpośrednio z rzeczywistości, zmuszamy go do polegania na wiedzy ekspertów. To z definicji jest nieskalowalne. Jeśli chcesz drona, który porusza się jak nietoperz, nie możesz wiecznie zatrudniać specjalistów od echolokacji, by poprawiali kod. To praca ręczna, a nie autonomiczny rozwój.

Ciągłe uczenie zamiast zamrożonych wag

Zamiast budować statyczne olbrzymy, których wagi zostają zamrożone po treningu, Sutton postuluje powrót do korzeni: uczenia z własnego doświadczenia. Prawdziwa inteligencja musi sama tworzyć modele świata i korygować je w procesie ciągłej interakcji. Kluczem do sukcesu ma być rozwiązanie problemu ‘katastrofalnego zapominania’.

Zespół badacza pracuje nad metodą Continual Backprop, opisaną m.in. na łamach Nature, która wstrzykuje losowe cechy obok spadku gradientu, pozwalając sieciom neuronowym na zachowanie elastyczności przez cały czas pracy. Według Suttona, jeśli AI ma dorównać ludzkiej sprawności, musi przestać pić z zatrutego źródła uproszczonych symulacji i zacząć uczyć się z nieskończonej złożoności rzeczywistego świata.