Miliardy dolarów za brakujące dane. Dlaczego scaling laws mogą nie wystarczyć?

Andrew Ho spędził w OpenAI zaledwie osiem miesięcy, ale to wystarczyło, by postawić diagnozę, która psuje nastrój inwestorom z Doliny Krzemowej. Podczas gdy giganci tacy jak Microsoft czy Google pompują miliardy w farmy serwerów, Ho twierdzi, że fundamenty dzisiejszego wyścigu zbrojeń są wadliwe. Założenie, że więcej mocy obliczeniowej i większa liczba parametrów automatycznie stworzą mądrzejszą AI, uderza właśnie w ścianę. Prawdziwym wąskim gardłem nie są chipy Nvidii, a brak wysokiej jakości danych, których pozyskanie pochłonie nawet 100 miliardów dolarów.

Problem stał się palący, ponieważ światu kończy się „paliwo”. Według szacunków deweloperom może zabraknąć nowych danych tekstowych do trenowania modeli GenAI już w latach 2026–2032. Skalowanie modeli w oparciu o publiczny internet osiągnęło punkt nasycenia. Aby przetrwać, branża zaczyna ratować się syntetycznymi informacjami – przewiduje się, że w 2024 roku aż 60% danych w projektach AI będzie generowanych przez inne algorytmy. To jednak droga na skróty, która grozi powstaniem modeli „zepsutych” przez własne halucynacje.

Kryzys generalizacji w cieniu wielkich modeli

Obserwując rozwój systemów takich jak GPT czy Claude, łatwo ulec złudzeniu, że zmierzamy prosto ku mitycznemu AGI. Ho uważa jednak, że obecne modele skalują się fatalnie w obszarach wymagających rzeczywistej sprawczości. „Braki w wysokiej jakości danych treningowych stają się jednym z głównych wyzwań” – ostrzegają analitycy cytowani przez Business Insider Polska. Większość kluczowych ekonomicznie umiejętności nie zostawia po sobie cyfrowego śladu. Praca naukowca w laboratorium, subtelne decyzje w bioinformatyce czy kontekstowe rozwiązywanie problemów są trudne do sformalizowania. Bez zrozumienia, dlaczego alternatywne scenariusze kończą się sukcesem lub porażką, AI pozostaje jedynie sprawnym generatorem statystycznych prawdopodobieństw.

Specjalizacja zamiast wszechstronności

Sceptycyzm Ho podzielają naukowcy z Uniwersytetu Cambridge i Google DeepMind. Zamiast stawać się coraz bardziej wszechstronne, modele gwałtownie dryfują w stronę wąskiej specjalizacji. Świetnie radzą sobie z programowaniem czy matematyką, bo tam dysponujemy jasnymi sygnałami zwrotnymi. W obszarach mniej binarnych, jak kreatywne wnioskowanie, obserwujemy zastój. Tom Zahavy z DeepMind sugeruje, że obecna architektura LLM zawodzi przy abdukcji – zdolności do tworzenia nowych hipotez tam, gdzie brakuje precedensu językowego. To kosztowny defekt, biorąc pod uwagę, że do 2030 roku branża może potrzebować aż 2 bilionów dolarów rocznych przychodów, aby sfinansować samą moc obliczeniową.

Biznesowy model ucieczki do przodu

Krytyka Ho uderza w model biznesowy największych graczy. Gigantyczne wyceny OpenAI czy Anthropic mogą okazać się bańką, jeśli laboratoria utkną w cyklu trenowania nowych modeli tylko po to, by utrzymać minimalną przewagę nad chińską konkurencją, jak Qwen czy Kimi. Skala wydatków jest porażająca – pojawiają się głosy, że OpenAI mogło wydać już ponad bilion dolarów na rozwój swoich systemów. Rozwiązaniem ma być nowa kategoria startupów tworząca „złote” zbiory danych dla konkretnych branż, od medycyny po inżynierię materiałową. To tam, a nie w surowej mocy GPU i zapotrzebowaniu na energię sięgającym 200 GW do końca dekady, kryje się realna wartość.

• Pozyskanie danych specjalistycznych: 100 mld USD długu technologicznego.
• Perspektywa 2026-2032: realne ryzyko wyczerpania publicznych zbiorów danych.
• Koszty energii: zapotrzebowanie na moc może wzrosnąć do 200 GW w ciągu sześciu lat.