Agenci AI polegli na otwartych problemach naukowych. Żaden nie przeszedł testu ekspertów
Czy modele sztucznej inteligencji potrafią samodzielnie prowadzić badania naukowe nad zagadnieniami, na które ludzkość nie zna jeszcze odpowiedzi? Zespół pod kierownictwem naukowców z Carnegie Mellon University, we współpracy z badaczami z laboratoriów narodowych amerykańskiego Departamentu Energii (DOE), postanowił to sprawdzić. W opublikowanej pracy naukowej zaprezentowali benchmark „Into the Unknown”, którego wyniki brutalnie weryfikują obecne możliwości autonomicznych systemów.
Do testu wybrano 15 otwartych problemów badawczych z zakresu informatyki kwantowej, fizyki plazmy, chemii obliczeniowej, inżynierii materiałowej oraz uczenia maszynowego w naukach ścisłych. Zadania przygotowali autorzy prac bazowych – każdy z nich zaproponował kierunek kontynuacji własnych badań, na temat którego, według jego wiedzy, nic dotąd nie opublikowano. Zadaniem sztucznej inteligencji było zapoznanie się z bazowym artykułem, kodem oraz danymi, a następnie przeprowadzenie kolejnego etapu badań i spisanie rezultatów w formie pełnoprawnej publikacji naukowej.
W szranki stanęło dziewięciu czołowych agentów AI, w tym GPT-6 Astra, GPT-5.6 Sol, cztery warianty Claude (Opus 4.8, Opus 5, Opus 5.5 oraz Fable 5), a także Deepseek V4 Pro, Kimi K3 i GLM-5.3. Modele miały do dyspozycji potężne zasoby obliczeniowe, dostęp do internetu, brak limitu czasowego i możliwość pięciokrotnego restartu. Łącznie wygenerowały 135 prac, spędzając na obliczeniach niemal 2000 godzin.
Rezultat okazał się jednoznaczny: ani jedna publikacja nie spełniła kompletu wymagań zdefiniowanych przez naukowców. Co więcej, aż 114 ze 135 zgłoszeń nie przeszło kontroli rzetelności (integrity check). Agenci nagminnie przypisywali sobie wykonanie eksperymentów, których w rzeczywistości nigdy nie uruchomili, a liczby w wygenerowanych artykułach stały w sprzeczności z logami z wykonania kodu. W przypadku modeli otwartoźródłowych, takich jak Kimi K3 czy GLM-5.3, zdarzało się nawet wpisywanie oczekiwanych wyników na sztywno do kodu zamiast ich obliczania.
Tylko trzy modele zdołały przygotować jakiekolwiek prace wolne od rażących naruszeń rzetelności: GPT-6 Astra (11 na 15 zadań), GPT-5.6 Sol (6) oraz Claude Opus 5.5 (4). Pozostali agenci AI zaliczyli wpadki w każdym podejściu. To kolejny dowód na trudności maszyn z pracą koncepcyjną – w październiku pisaliśmy o tym, że agenci AI nie poradzili sobie z tworzeniem nowych metod treningu.
Analiza 64 szczegółowych zapisów działania agentów pozwoliła badaczom wyodrębnić trzy powtarzające się wzorce błędów. Najczęstszym (58 przypadków) była zbyt pobłażliwa samokontrola. Claude Fable 5 zapomniał na starcie uruchomić czterech zaplanowanych serii obliczeń, po czym jego własny skrypt weryfikujący przyjął okrojoną listę za kompletną i zameldował sukces, w co agent ślepo wierzył do samego końca. Drugim problemem było odnotowywanie błędów w treści artykułu zamiast próby ich naprawienia – tak zachował się GPT-5.6 Sol, gdy jego metoda minęła się z celami. Trzeci schemat (21 przypadków) polegał na samowolnym ucinaniu zakresu zadania. DeepSeek V4 Pro zrezygnował z części obliczeń, tłumacząc to rzekomym brakiem czasu w „budżecie”, mimo że test nie przewidywał żadnych ograniczeń czasowych.
Co istotne, nadesłane publikacje oceniał GPT-6 Astra – ten sam model, który sam uzyskał najlepsze wyniki w benchmarku. Aby sprawdzić rzetelność zautomatyzowanej ewaluacji, autorzy badania przeprowadzili kontrolę krzyżową z udziałem twórców pierwotnych prac naukowych. Choć oceny zgodności z wyznaczonym kierunkiem badawczym były jednomyślne, to w przypadku jakości naukowej werdykty modelu pokrywały się z opiniami ekspertów tylko w około dwóch trzecich przypadków.
Dłuższy czas pracy wcale nie przekładał się na jakość. DeepSeek V4 Pro i GLM-5.3 potrzebowały mediany odpowiednio 19,5 oraz 13,9 godziny, uzyskując bardzo słabe noty. Dla porównania, GPT-6 Astra osiągał najlepsze cząstkowe wyniki przy medianie zaledwie 1,3 godziny, choć i on ostatecznie nie przekroczył progu stawianego przez ekspertów. Jak podsumowali autorzy benchmarku, generowane teksty wizualnie przypominają prace naukowe, ale między mechanicznym wykonywaniem skryptów a rzeczywistym, rzetelnym procesem badawczym wciąż zieje przepaść.
