Czy obsesja na punkcie skalowania sztucznej inteligencji doprowadzi do krachu?

W branży sztucznej inteligencji panuje przekonanie, że im większy model, tym lepsze wyniki. Gigantyczne centra danych powstają w oparciu o założenie, że algorytmy będą stawały się coraz bardziej efektywne wraz ze wzrostem skali. Jednak nowe badania przeprowadzone przez Massachusetts Institute of Technology (MIT) podają to w wątpliwość, sugerując, że w pewnym momencie dalsze inwestycje w rozbudowę modeli AI mogą przynieść marginalne korzyści.

Zespół naukowców z MIT, kierowany przez Hansa Gundlacha, przeanalizował zależność między skalowaniem modeli a poprawą ich efektywności. Z ich analiz wynika, że w ciągu najbliższych lat możemy być świadkami sytuacji, w której mniejsze modele, uruchamiane na bardziej przystępnym sprzęcie, będą dorównywać, a nawet przewyższać możliwościami swoje większe odpowiedniki.

Koniec ery gigantów?

„W ciągu najbliższych pięciu do dziesięciu lat różnice zaczną się zacierać” – twierdzi Neil Thompson, profesor informatyki z MIT, który brał udział w badaniach. Jego zdaniem, postęp w dziedzinie efektywności algorytmów, jak ten zaobserwowany w przypadku modelu DeepSeek, który charakteryzuje się wyjątkowo niskim kosztem obliczeniowym, już teraz stanowi sygnał ostrzegawczy dla branży, która przyzwyczaiła się do spalania ogromnych ilości mocy obliczeniowej.

Obecnie, modele tworzone przez liderów rynku, takich jak OpenAI, oferują znacznie lepsze wyniki niż te, które powstają w laboratoriach akademickich z użyciem ułamka ich zasobów. Jednak, jak twierdzą badacze z MIT, ta przewaga może się skurczyć. Zwracają oni uwagę, że firmy powinny inwestować nie tylko w zwiększanie mocy obliczeniowej, ale także w doskonalenie samych algorytmów.

Boom infrastrukturalny pod znakiem zapytania

Wyniki badania MIT są szczególnie interesujące w kontekście obecnego boomu na infrastrukturę AI. Firmy prześcigają się w budowie gigantycznych centrów danych, podpisując kontrakty na setki miliardów dolarów. Prezes OpenAI, Greg Brockman, ogłosił niedawno partnerstwo z Broadcom w celu stworzenia niestandardowych układów scalonych dedykowanych do AI, podkreślając, że „świat potrzebuje znacznie więcej mocy obliczeniowej”.

Jednak coraz więcej ekspertów kwestionuje zasadność tych inwestycji. Jamie Dimon, dyrektor generalny JP Morgan, ostrzegł niedawno w wywiadzie dla BBC, że „poziom niepewności powinien być wyższy w umysłach większości ludzi”. Duża część kosztów budowy centrów danych pochłaniają karty graficzne (GPU), które szybko tracą na wartości. Dodatkowo, relacje między kluczowymi graczami na rynku wydają się być niejasne.

Dywergencje myślenia

Inwestycje w infrastrukturę AI to nie tylko budowa potężniejszych modeli. OpenAI prawdopodobnie zakłada, że popyt na nowe narzędzia generatywnej AI będzie rósł w tempie wykładniczym. Firma może również dążyć do zmniejszenia swojej zależności od Microsoftu i Nvidii, przekształcając swoją wycenę na poziomie 500 miliardów dolarów w infrastrukturę, którą może projektować i dostosowywać do własnych potrzeb.

Niemniej jednak, branża powinna brać pod uwagę analizy takie jak ta przeprowadzona przez MIT, aby zrozumieć, jak mogą ewoluować algorytmy i sprzęt w ciągu najbliższych kilku lat. Ogromne inwestycje w GPU i inne wyspecjalizowane układy scalone mogą sprawić, że firmy AI przegapią szanse, które mogą wyniknąć z eksploracji alternatywnych ścieżek rozwoju, takich jak nowe architektury układów scalonych, alternatywy dla głębokiego uczenia, a nawet podejścia oparte na obliczeniach kwantowych. To właśnie na obrzeżach akademickich badań rodziły się dzisiejsze przełomowe odkrycia w dziedzinie AI.