Dlaczego twórcy modeli uciekają z wielkich laboratoriów, skoro AGI rzekomo jest już na wyciągnięciu ręki

Gdy po premierze modelu GPT-6 Astra dyrektor generalny Nvidii Jensen Huang obwieścił w serwisie X, że „AGI nadeszła”, a prezydent OpenAI Greg Brockman ogłosił początek „ery AGI”, przekaz marketingowy wydawał się jednoznaczny: cel został osiągnięty, a ścieżka do samodoskonalącej się inteligencji jest już wytyczona. Jeszcze w czerwcu pisaliśmy, że OpenAI zapowiada erę osobistej AGI, która do 2028 roku miałaby stać się powszechnym partnerem w badaniach naukowych. Rzeczywistość wewnątrz środowiska badawczego wygląda jednak zupełnie inaczej.

W tym samym czasie czołowi architekci współczesnych systemów sztucznej inteligencji masowo opuszczają OpenAI, Google DeepMind czy Metę. Ilya Sutskever, współzałożyciel i wieloletni główny naukowiec OpenAI, założył Safe Superintelligence (SSI). Jerry Tworek, który odpowiadał w OpenAI za rozwój modeli wnioskujących o1 oraz o3, odszedł, by budować Core Automation. Twórca AlphaGo David Silver porzucił DeepMind dla Ineffable Intelligence, Yann LeCun po ponad dekadzie pożegnał się z Metą, tworząc AMI, a Jeff Dean po 27 latach w Google współtworzy Discovery Loop.

Miliardy dolarów bez gotowego produktu

Inwestorzy instytucjonalni rzucili się za odchodzącymi naukowcami, pompując w tak zwane „neolaby” kapitał na niespotykaną skalę. Jak ustalił Bloomberg, Nvidia wyłożyła w lipcu 5 miliardów dolarów na inwestycję w SSI Ilyi Sutskevera – mimo że startup nie opublikował dotąd ani jednego modelu, ani nawet pracy naukowej. Prometheus, przemysłowe laboratorium Jeffa Bezosa, zebrało w czerwcu 12 miliardów dolarów przy wycenie sięgającej 41 miliardów. Z kolei startup Flapping Airplanes pozyskał w październiku miliard dolarów w serii A, również nie pokazując publicznie żadnego działającego systemu.

W analizie autorów raportu Frontier Radar opublikowanej przez The Decoder zestawiono działalność kilkudziesięciu niezależnych laboratoriów, podkreślając, że motywacje stojące za odejściami są zróżnicowane i nie zawsze czysto techniczne. Część badaczy, jak Ilya Sutskever, szuka przestrzeni do pracy bez presji produktowej, Yann LeCun odszedł po sporze strategicznym z Metą, a przy obecnych wycenach założyciele zyskują też ogromne korzyści finansowe, stając się miliarderami na papierze. Wielu z nich łączy jednak przede wszystkim zwątpienie w obecny paradygmat. Naukowcy nie negują tego, że potężniejsza sztuczna inteligencja powstanie. Wątpią natomiast, czy dotychczasowy przepis – budowanie coraz większych transformerów, trenowanie ich na danych z internetu i doszlifowywanie uczeniem przez wzmacnianie – doprowadzi nas do prawdziwego przełomu.

Granice obecnej architektury

Współczesne duże modele językowe doskonale radzą sobie z rozwiązywaniem problemów, ale uczą się zupełnie inaczej niż ludzie. Wymagają gigantycznych zbiorów danych, a po wdrożeniu ich wagi zazwyczaj pozostają zamrożone. Nie aktualizują wiedzy trwale pod wpływem bieżących doświadczeń – ChatGPT i Claude korzystają z notatek i wcześniejszych rozmów jako rozwiązania zastępczego, które zdaniem Jerry’ego Tworka nie wystarcza: ciągłe uczenie (continual learning) jest problemem uczenia maszynowego, a nie plików Markdown.

Próby dotrenowywania istniejących sieci niosą z kolei ryzyko tzw. katastrofalnego zapominania (catastrophic forgetting). Dlatego laboratoria nowego typu szukają alternatyw: Core Automation pracuje nad architekturami, które potrzebowałyby zaledwie ułamka dzisiejszych danych treningowych i aktualizowałyby wagi w czasie działania. Ineffable Intelligence Davida Silvera stawia na systemy uczące się z własnego doświadczenia i interakcji ze środowiskiem, zamiast polegać na naśladowaniu ludzi. Silver i Richard Sutton argumentują, że samo naśladowanie utrudnia przekroczenie ludzkiego poziomu w wielu ważnych zadaniach.

OpenAI i Anthropic rozrosły się do rozmiarów wielkich korporacji i przygotowują się do debiutów giełdowych. W wyścigu produktowym zespoły badawcze konkurują z produktowymi o środki i uwagę, co otwiera przestrzeń dla mniejszych, wyspecjalizowanych zespołów gotowych postawić na nowe fundamenty technologiczne.