Andrej Karpathy: Człowiek stał się wąskim gardłem w rozwoju sztucznej inteligencji

Koniec ery rzemieślniczego poprawiania kodu

Andrej Karpathy, jedna z najbardziej wpływowych postaci w sektorze deep learningu, rzuca wyzwanie tradycyjnemu podejściu do pracy badawczej. Jego ostatnie doświadczenia z projektem minGPT rzucają nowe światło na to, jak efektywnie uczyć maszyny. Karpathy spędził miesiące na ręcznym dopasowywaniu parametrów treningowych modelu GPT-2, starając się wycisnąć z architektury jak najwięcej. Wynik tego starania okazał się jednak gorszy od tego, co osiągnął autonomiczny agent pozostawiony bez nadzoru na zaledwie jedną noc.

System przeszukał przestrzeń konfiguracyjną w sposób, który dla człowieka jest nieosiągalny. Znalazł subtelne korelacje między parametrami i nanosił precyzyjne poprawki, które Karpathy – mimo ogromnego doświadczenia – zwyczajnie przeoczył. To zdarzenie stało się fundamentem tezy, że w dziedzinach dających się zmierzyć obiektywnymi metrykami, obecność badacza w pętli decyzyjnej staje się przeszkodą, a nie atutem.

Intuicja kontra systematyczna automatyzacja

Karpathy zauważa, że pracownicy czołowych laboratoriów AI często pokładają zbyt dużą ufność w swoją intuicję. Tymczasem nowoczesne narzędzia wymagają zmiany paradygmatu: zamiast sterować każdym krokiem procesu (promptowaniem kolejnych działań), badacze powinni budować systemy, które same się optymalizują. ”Aby w pełni wykorzystać dostępne dziś narzędzia, musisz usunąć samego siebie jako wąskie gardło” – argumentuje inżynier.

To podejście prowadzi do paradoksalnego wniosku: specjaliści od AI systematycznie pracują nad tym, by ich obecne role stały się zbędne. Jest to zresztą zgodne z deklarowanymi celami największych graczy na rynku, dążących do pełnej autonomii systemów uczących się.

Granice mierzalności

Warto jednak zachować krytycyzm wobec wizji powszechnej automatyzacji. Karpathy wyraźnie oddziela sukcesy w kodowaniu czy matematyce od dziedzin, które nazywa „miękkimi”. Tam, gdzie wynik jest łatwy do weryfikacji i zmierzenia, AI deklasuje człowieka w procesie optymalizacji. Jednak w obszarach pozbawionych twardych wskaźników postępu, sytuacja wygląda znacznie gorzej. Przeniesienie obecnych zysków efektywności na domeny oparte na niuansach interpretacyjnych pozostaje wyzwaniem, którego sama moc obliczeniowa i algorytmy przeszukujące mogą nie rozwiązać.