Koniec ery cyfrowego obżarstwa? Startupy szukają architektury AI, która nie potrzebuje całego internetu

Obecne modele językowe budowane są na fundamencie gigantomanii danych. Aby system typu GPT-4 mógł sprawnie funkcjonować, musi najpierw „przetrawić” znaczną część zasobów światowej sieci. Ten model rozwoju napotyka jednak na barierę technologiczną i logiczną. Flapping Airplanes, startup, który właśnie pozyskał 180 milionów dolarów od gigantów takich jak GV (Google Ventures), Sequoia i Index, zamierza zburzyć ten porządek. Ich diagnoza jest uderzająca: ludzie uczą się od 100 000 do nawet miliona razy wydajniej niż współczesne sieci neuronowe.

Rewolucja na poziomie fundamentów

Ambicje Flapping Airplanes wykraczają poza kosmetyczne poprawki. Zespół badawczy planuje redefinicję samych podstaw uczenia maszynowego, co może wiązać się z porzuceniem algorytmu wstecznej propagacji błędu (gradient descent) na rzecz zupełnie nowych funkcji kosztu. Choć brzmi to jak teoretyczna abstrakcja, cel jest wybitnie praktyczny. Systemy o wysokiej wydajności danych mogłyby zrewolucjonizować robotykę i naukę, gdzie dostęp do czystych, precyzyjnych zbiorów treningowych jest często wąskim gardłem.

Ucieczka z OpenAI w poszukiwaniu innowacji

Równolegle Jerry Tworek, do niedawna kluczowy badacz w OpenAI, formuje własny ośrodek o nazwie Core Automation. Tworek nie szuka drobnych oszczędności – celuje w finansowanie rzędu miliarda dolarów, aby zbudować modele wymagające stokrotnie mniej danych niż obecne rozwiązania. Jego odejście z OpenAI jest symptomatyczne dla szerszego trendu w branży; eksperci zauważają, że obecni liderzy rynkowi skupiają się na optymalizacji istniejących architektur, podczas gdy prawdziwe przełomy wymagają powrotu do badań podstawowych.

Od automatyzacji po terraformację

Wizja Core Automation jest uderzająco futurystyczna. Zdolność systemów AI do ciągłego uczenia się na podstawie własnych doświadczeń – a nie statycznych zbiorów danych – ma być kluczem do osiągnięcia stabilnej, ogólnej inteligencji (AGI). Tworek widzi zastosowanie swoich modeli w projektowaniu samoreplikujących się fabryk, zaawansowanych systemów biomedycznych, a w skrajnej perspektywie – nawet w technologiach terraformacji planet. Choć te cele brzmią jak literatura science fiction, skala finansowania i kapitał ludzki stojący za tymi inicjatywami sugerują, że branża traktuje odejście od „paliwożernych” algorytmów jako jedyną drogę naprzód.