Mity o autonomii AI w nauce: badanie obala twierdzenia OpenAI i Anthropic

Wizja sztucznej inteligencji, która samodzielnie projektuje swoje kolejne iteracje, od miesięcy napędza narrację największych graczy na rynku. Zarówno OpenAI, jak i Anthropic chętnie chwalą się postępami, sugerując, że ich modele są o krok od pełnej autonomii w prowadzeniu badań naukowych. Jednak najnowsze eksperymenty przeprowadzone przez naukowców z Princeton oraz brytyjskiego Instytutu Bezpieczeństwa AI (UK AI Security Institute) rzucają zimny prysznic na te optymistyczne zapowiedzi. Choć maszyny świetnie radzą sobie z rzemiosłem inżynieryjnym, ich zdolność do generowania nowej wiedzy okazuje się fasadą.

Dlaczego to ważne właśnie teraz? Ostatnie analizy wskazują, że choć systemy AI potrafią wykonać część zadań technicznych, nie są w stanie stworzyć oryginalnego wkładu naukowego na poziomie topowych konferencji. To badanie demaskuje lukę między marketingowymi obietnicami o „skracaniu tygodni pracy do godzin” a realną zdolnością maszyn do krytycznego myślenia.

Metoda cienia obnaża braki

Badacze zastosowali metodę Shadow Evaluation. Zamiast polegać na tradycyjnych recenzjach, zestawiono agentów AI z autorami niepublikowanych jeszcze prac przygotowywanych na prestiżową konferencję NeurIPS 2026. Agenci otrzymali kluczowe pytania badawcze i pełną swobodę działania, dysponując tysiącami dolarów w kredytach API, dostępem do GPU oraz sześcioma dniami pracy. Ich zadaniem było odtworzenie procesu badawczego, którego wyniki nie znajdowały się jeszcze w sieci, co wykluczało plagiat z danych treningowych.

Wyniki okazały się miażdżące. Mimo wykorzystania najpotężniejszych modeli, obie wygenerowane prace zostały kategorycznie odrzucone przez recenzentów. Jedna z nich otrzymała notę „Strong Reject”. Eksperci ocenili propozycje AI jako „pseudonaukowe”, wytykając im rażące błędy logiczne, nieczytelny język oraz brak jakiegokolwiek oryginalnego wkładu w dziedzinę. Jeden z recenzentów określił tok rozumowania maszyny jako klasyczny błąd „dowodu przez przykład”, a wybory eksperymentalne nazwał wręcz dziwacznymi.

Sprawny inżynier, fatalny strateg

Analiza logów systemowych ujawniła, gdzie leży granica możliwości AI. Agenci bez problemu przeszukiwali literaturę, wykrywali i usuwali błędy w kodzie i przeprowadzali testy odporności. W sferze inżynieryjnej wykazali się niemal pełną samodzielnością. Problemem okazał się jednak brak naukowej intuicji. Gdy wstępne hipotezy okazywały się błędne, AI nie potrafiło zmienić kierunku badań. Zamiast szukać nowych rozwiązań, modele po prostu zawężały swoje twierdzenia, stając się coraz mniej ambitne.

Co ciekawe, systemy te cierpiały na specyficzny rodzaj „amnezji instrukcji”. Wraz z rosnącym kontekstem zaczynały ignorować kluczowe wytyczne, co skutkowało m.in. przekroczeniem limitów objętości tekstu. Mimo dużych zasobów, agenci nie potrafili ich efektywnie wykorzystać, często kończąc pracę przed czasem i deklarując sukces w obliczu rażących błędów, które sami wcześniej zidentyfikowali w wewnętrznych procesach sprawdzających.

Koniec ery optymizmu bez pokrycia?

Badanie stanowi przeciwwagę dla marketingu laboratoriów AI. Podczas gdy Anthropic publikuje posty o „AI budującej samą siebie”, a OpenAI twierdzi, że „w wielu przypadkach model skraca pracę, która mogłaby zająć dni lub tygodnie, do godzin”, rzeczywistość eksperymentalna pokazuje coś innego. Modele te, choć są potężnymi narzędziami pomocniczymi, wciąż nie posiadają mechanizmów kognitywnych niezbędnych do tworzenia nowej wiedzy. Jak zauważył Tom Zahavy z Google DeepMind, LLM-y wciąż nie potrafią wykonać „skoku”, który jest fundamentem autentycznego odkrycia naukowego.