Debata o skalowaniu AI: czy zasada „więcej znaczy lepiej” wciąż obowiązuje?

W środowisku sztucznej inteligencji narasta istotna dyskusja dotycząca efektywności podejścia opartego na ciągłym skalowaniu modeli AI. Ta strategia, charakteryzująca się zwiększaniem mocy obliczeniowej oraz ilości danych treningowych, jest podstawą masowych inwestycji w infrastrukturę technologicznego gigantów. Jednak coraz więcej prominentnych postaci z branży zaczyna kwestionować jej długoterminową skuteczność.

Geoffrey Hinton, powszechnie nazywany „Ojcem Chrzestnym AI”, wyraził swoje stanowisko w rozmowie z Business Insider, sugerując, że choć skala jest ważna, niekoniecznie jest jedyną drogą do postępu. Jego były student, Ilya Sutskever, współzałożyciel OpenAI, idzie o krok dalej. Niedawno stwierdził, że „wahadło rozwoju AI znów przechyla się w stronę badań”, oddalając się od prostych przełomów osiąganych wyłącznie poprzez zwiększanie skali. Sutskever, obecnie prowadzący własny startup technologiczny, podkreślił, że choć 100-krotne zwiększenie skali z pewnością przyniesie zmiany, niekoniecznie będzie to transformacja, na jaką niektórzy liczą, i uważa, że „wracamy do ery badań, po prostu z dużymi komputerami”.

Jednym z kluczowych wyzwań dla obecnych metod skalowania jest ograniczona dostępność wysokiej jakości danych. Hinton wskazuje, że rozwiązaniem tego problemu może być sytuacja, w której modele językowe zaczną generować własne dane. Przywołał przykład AlphaGo i AlphaZero Google DeepMind, które opanowały grę Go, rozgrywając partie z samym sobą i w ten sposób generując nowe informacje. Zdaniem Hintona, podobny mechanizm mógłby zostać zastosowany w przypadku dużych modeli językowych. Poprzez proces rozumowania i weryfikacji spójności własnych przekonań, modele te mogłyby generować obszerne zbiory danych, eliminując potrzebę nieskończonego pozyskiwania nowych. Według niego: „będzie to równoważne z sytuacją, w której model językowy zacznie rozumować i powie: «Wierzę w te rzeczy, a te rzeczy implikują coś innego, ale ja w to inne nie wierzę, więc muszę coś zmienić gdzieś w swoim myśleniu»”.

Niepewność co do przyszłości strategii skalowania sygnalizują również inni eksperci. Alexandr Wang, stojący na czele działu superinteligencji w Meta, opisał skalowanie jako „największe pytanie w branży”. Podobnie, Yann LeCun, który współpracował z Hintonem przy wczesnych badaniach AI i również założył własny startup po odejściu z Meta, wyraził sceptycyzm. W ubiegłym roku, jeszcze jako główny naukowiec AI w Meta, LeCun stwierdził, że „nie można po prostu zakładać, że więcej danych i większa moc obliczeniowa oznaczają inteligentniejszą AI”.

Z drugiej strony, Demis Hassabis, dyrektor generalny Google DeepMind, pozostaje optymistą co do potencjału skalowania, wskazując, że może ono być kluczem do osiągnięcia sztucznej inteligencji ogólnej (AGI). Jak powiedział na szczycie Axios’ AI+ Summit: „Musimy maksymalnie wykorzystać skalowanie obecnych systemów, ponieważ w najgorszym wypadku będzie to kluczowy element końcowego systemu AGI. Może to być nawet cały system AGI”.

Debata ta podkreśla fundamentalne napięcie w branży AI: czy obecny paradygmat, oparty na zwiększaniu skali, doprowadzi nas do kolejnych przełomów, czy też nadszedł czas na powrót do głębszych, bardziej fundamentalnych badań i innowacji w architekturze modeli?