GPT-6-Astra rozwiązał 49 z 50 zadań z fizyki teoretycznej. Cały test kosztował 116 dolarów
GPT-6-Astra poprawnie rozwiązał 49 z 50 zadań z fizyki teoretycznej w nowym teście TheoPhysEval, przygotowanym przez zespół 35 naukowców m.in. z Harvardu, KU Leuven, International Centre for Theoretical Sciences i Google DeepMind. Uruchomienie całego benchmarku kosztowało niespełna 116 dolarów — średnio poniżej 3 dolarów na zadanie (nie przedstawiono jednak szczegółowo sposobu wyliczenia tego kosztu, dlatego kwoty tej nie można bezpośrednio porównywać z kosztami innych testów). Wynik pokazuje dużą sprawność modelu w zaawansowanych obliczeniach, choć autorzy testu podkreślają, że nie oznacza to jeszcze zdolności do samodzielnego prowadzenia badań naukowych.
TheoPhysEval obejmuje 50 niepublikowanych wcześniej problemów z jednoznacznie weryfikowalnymi odpowiedziami, rozłożonych na 11 poddziedzin fizyki — od dynamiki płynów i biofizyki po fizykę cząstek i kosmologię. Zadania nie dotyczyły wielkich, nierozstrzygniętych zagadek nauki. Polegały na zastosowaniu znanych metod teoretycznych do zmodyfikowanych układów — pracy określanej w środowisku jako „turn-the-crank”, czyli rzetelnym wyprowadzeniu wzorów według ustalonych reguł.
Wiele z tych zadań wymagało jednak specjalistycznej wiedzy. Jeden z problemów dotyczył fizyki czarnych dziur: wymagał odszukania starszej publikacji, przeniesienia opisanych w niej równań z pięciowymiarowej do czterowymiarowej czasoprzestrzeni, a następnie napisania programu obliczeniowego do wygenerowania wyniku. Koordynator testu Suvrat Raju potrzebował na to około dnia, a autorzy szacują, że przed pojawieniem się zaawansowanych modeli AI zaledwie nieliczni specjaliści byli w stanie połączyć wszystkie potrzebne do tego kompetencje.
Jak wypadły inne modele
W teście sprawdzono komercyjnych agentów AI pracujących bez podpowiedzi ze strony ludzi. GPT-6-Astra w środowisku Codex uzyskał 98 proc. poprawnych odpowiedzi (49/50). Drugie miejsce zajął Opus 5.5 w Claude Code z wynikiem 92 proc. Gemini 3.8 Flash osiągnął 68 proc., natomiast modele z otwartymi wagami — DeepSeek-V4.1-Flash oraz GLM 5.3 — odpowiednio 54 i 42 proc.
Dostęp do internetu miał ograniczony wpływ na czołówkę: w próbie offline zarówno Astra, jak i Opus uzyskały po 92 proc. Jedynym zadaniem, którego Astra nie rozwiązał w trybie z dostępem do sieci, było odtworzenie równania opisującego zadaną krzywą — problem, na którym potknęły się wszystkie testowane modele.
Błędy w kluczu odpowiedzi
Istotnym elementem analizy wyników okazała się weryfikacja samego benchmarku. Dodatkowe konsultacje z ekspertami wykazały drobne błędy w rozwiązaniach referencyjnych kilku zadań. Po skorygowaniu klucza odpowiedzi okazało się, że rozwiązania wygenerowane przez Astrę były we wszystkich tych spornych przypadkach poprawne. Opis testu nie wyjaśnia jednak, czy po korekcie klucza oficjalny wynik Astry został zmieniony ani jaki wpływ poprawki miały na rezultat 49/50.
Autorzy zwracają uwagę, że tego typu pomyłki w zestawach testowych mogą tłumaczyć, dlaczego modele radzą sobie w TheoPhysEval lepiej niż w niektórych innych sprawdzianach fizycznych. Zestaw zadań został udostępniony badaczom w serwisie Hugging Face.
Granica między rachunkiem a badaniem
Wysoki wynik Astry pokazuje, że agenci AI radzą sobie z pracochłonnym etapem pracy fizyka — precyzyjnym wyprowadzeniem i przeliczeniem równań. Badacze zaznaczają jednak, że to tylko końcowy fragment procesu badawczego.
Modele wciąż nie potrafią formułować obiecujących pytań naukowych ani oceniać, co czyni dany problem interesującym. Brakuje im również elastyczności badawczej: gdy napotykają zbyt trudną przeszkodę, nie potrafią samodzielnie uprościć założeń i przejść do powiązanego, łatwiejszego problemu.
Wyniki mają już jednak bezpośrednie przełożenie na praktykę akademicką. Zdaniem autorów zadania o poziomie trudności zbliżonym do tych z TheoPhysEval nie powinny być już traktowane jako pierwsze samodzielne projekty badawcze dla doktorantów, ponieważ ich rozwiązanie sprowadza się do pracy, którą narzędzia AI wykonują dziś w kilka minut.
