Jack Clark przesuwa prognozę samodoskonalącej się AI na 2027 rok. Powodem nowy benchmark TasteVal

Jack Clark, współzałożyciel Anthropic i autor newslettera Import AI, przyspieszył swoją prognozę dotyczącą rekurencyjnego samodoskonalenia (RSI), czyli sytuacji, w której systemy AI tworzą swoich następców. „Teraz uważam, że pełne RSI stanie się możliwe raczej w 2027 roku, podczas gdy wcześniej sądziłem, że w 2028” – cytuje go NDTV. Impulsem były wyniki nowego benchmarku TasteVal, o których pisze The Decoder.

Co mierzy TasteVal

Benchmark stworzyło laboratorium P-Zero Research. Bada to, co nazywa „research taste”, czyli wyczucie badawcze. Ma ono obejmować trzy umiejętności: wybór wartych zbadania pytań, zaprojektowanie eksperymentów i poprawną interpretację wyników. TasteVal sprawdza tylko dwie ostatnie. Kierunek badań jest w każdym z ośmiu zadań z góry narzucony: dostaje się cel i mierzalny wynik. Zadania dotyczą m.in. doboru danych treningowych, pretrainingu i dostrajania modeli językowych, uczenia na ludzkich preferencjach oraz obrony przed złośliwymi promptami.

Model decyduje, jaki eksperyment uruchomić jako następny, i na podstawie wyników planuje kolejny krok. Żeby umiejętność programowania nie zniekształcała rezultatów, wszystkie eksperymenty wykonuje ten sam agent kodujący, na jednym GPU Nvidia H100. Przebieg kończy się po 40 godzinach GPU albo 120 godzinach czasu rzeczywistego. Punktem odniesienia było 24 ekspertów z niedawnym doświadczeniem m.in. w OpenAI, Google DeepMind, Nvidii i Microsoft Research, po co najmniej dwóch na zadanie. Za wzorzec posłużyła najlepsza próba ludzka w każdym zadaniu.

Wyczucie badawcze P-Zero przelicza na efektywność obliczeniową. Moc potrzebna do eksperymentów jest w badaniach nad AI zasobem deficytowym, więc kto trafniej wybiera eksperymenty i czyta ich wyniki, ten potrzebuje mniej przebiegów. Wskaźnik nazwano „compute multiplier”. Model, który wyniki ekspertów osiąga przy połowie mocy, ma według tej definicji dwa razy lepsze wyczucie.

Wyniki i ich ograniczenia

Najlepszy okazał się Claude Opus 5.5 od Anthropic, z mnożnikiem 2,3. Zakres niepewności statystycznej jest jednak szeroki: od 1,15 do 4,37, więc na dolnym krańcu przewaga nad ekspertami byłaby minimalna. Pojedynczy przebieg kosztował średnio około jednej trzydziestej tego, co próba eksperta.

Dla Clarka ważniejsze jest tempo zmian. Według P-Zero wyczucie badawcze czołowych modeli podwajało się mniej więcej co trzy miesiące od grudnia 2025 roku, choć przedział niepewności (1,7–5,0 miesiąca) jest tu równie duży. W poprzednich latach wzrost był wyraźnie wolniejszy, a krzywa wyraźnie wyostrzyła się na przełomie 2025 i 2026 roku.

Autorzy sami przyznają, że wyniki mogą zawyżać tempo poprawy. Zadania da się sprawdzać szybko i tanio, a to dokładnie ten typ problemów, pod który laboratoria najłatwiej optymalizują modele. W grupie porównawczej nie było też badaczy z absolutnej czołówki. Doszedł jeszcze jeden czynnik, na który zwraca uwagę The Decoder: prognozę wygłasza współzałożyciel firmy, której model wygrywa w teście. Szczegóły metodologii są w preprincie na arXiv i na stronie projektu.

Od 30 do wyższych szans na 2027

W długim eseju z maja Clark oceniał szanse na system, który samodzielnie wytrenuje silniejszego następcę, na około 60 proc. do końca 2028 roku i 30 proc. do końca 2027. Kreatywność od dawna uważał za kluczowy czynnik tempa samodoskonalenia i pisał, że modele nie pokazały jej jeszcze na przełomową skalę. Teraz jako sygnały zmiany wskazuje postępy w dowodzeniu twierdzeń matematycznych i właśnie benchmarki takie jak TasteVal. W newsletterze Import AI 476 łączy je z debatą o RSI. Według NHK napisał: systemy AI mogą w 2027 roku być w stanie same prowadzić badania nad AI, tak jak stały się zdolne do innych form nauki.

TasteVal trafia w miejsce, które wskazywali sceptycy. Badacz Herbie Bradley odpowiadał na majowy esej Clarka, że modele mogą przejąć pracę młodszych badaczy, ale wyczucia badawczego, kreatywności i spójnego długoterminowego planowania nie widać na horyzoncie. Planowanie i ocena eksperymentów to właśnie to, co benchmark testuje, więc osłabia ten argument. O wyborze długoterminowej agendy badawczej nic jednak nie mówi.

Praktyczny dystans pokazuje badanie zespołu z Uniwersytetu Fudan, który przeanalizował rozwój własnego modelu z udziałem agentów AI. Agenci zgłosili do 55 proc. propozycji metodologicznych, ale ludzie podejmowali ponad 85 proc. ostatecznych decyzji. Autorzy zauważyli, że wciąż niejasne jest, jak AI ma generować zróżnicowane kierunki badań i oceniać ich wartość, zanim znane będą wyniki. Tę decyzję TasteVal zdejmuje z modeli.

Spór o RSI w laboratoriach

Benchmark pojawia się w debacie, którą rozpoczęły same laboratoria. Anthropic napisało w tekście o RSI, że „jeszcze nas tam nie ma, a rekurencyjne samodoskonalenie nie jest nieuniknione”. The Decoder dodaje, że firma ostrzegała też, iż RSI „może nadejść szybciej, niż większość instytucji jest na to przygotowana”. Dario Amodei woła według tego źródła o kontrolowane spowolnienie rozwoju AI, a OpenAI przyznaje, że w pełni autonomiczne RSI jeszcze nie istnieje i że należy je rozwijać tylko przy zagwarantowanym nadzorze człowieka.

Jeśli trend z TasteVal potwierdzą inne testy, skutki będą dwuznaczne. Rozwój AI byłby szybszy i tańszy, ale coraz większa część badań trudniej poddawałaby się weryfikacji przez ludzi, bo modele same planowałyby i oceniały swoje eksperymenty.