Koniec matematycznych złudzeń. Nowy benchmark SOOHAK obnaża słabość AI w starciu z problemami nierozwiązywalnymi

Kryzys zaufania do maszynowej logiki

Współczesne modele AI, takie jak Gemini 3 Pro czy GPT-5, zdążyły nas przyzwyczaić do spektakularnych sukcesów na polu matematyki olimpijskiej. Jednak wejście na poziom rzeczywistej pracy badawczej ujawnia głębokie pęknięcia w ich architekturze logicznej. Grupa 64 matematyków z Carnegie Mellon University oraz Seoul National University zaprezentowała SOOHAK – nowy benchmark, który zamiast powielać znane z internetu zadania, stawia na autorskie problemy, przy których tworzeniu surowo zabroniono korzystania z pomocy sztucznej inteligencji.

SOOHAK nie jest kolejnym testem kompetencji maturzysty. Składa się z 439 unikalnych zadań, podzielonych na dwie sekcje: „Challenge”, zawierającą problemy na poziomie doktoranckim, oraz „Refusal” – zestaw 99 pułapek. To właśnie ten drugi zbiór okazał się dla AI najbardziej bolesny. Modele musiały tam wykazać się nie tyle sprawnością obliczeniową, co umiejętnością powiedzenia „nie wiem” lub wskazania błędu logicznego w treści zadania. Zamiast tego większość systemów z dużą pewnością siebie generowała błędne wyniki dla problemów, które z definicji nie posiadały rozwiązania.

Sufit możliwości i problem otwartych wag

Rankingi skuteczności pokazują wyraźną dominację modeli komercyjnych nad systemami o otwartych wagach. Gemini 3 Pro osiągnął najwyższy wynik w sekcji wyzwań (30%), wyprzedzając rodzinę GPT-5. Tymczasem modele takie jak Kimi-2.5 czy Qwen3-235B ledwo przekroczyły próg 15%. Autorzy badania sugerują, że słabość modeli open-weights wynika z mniejszego nasycenia ich danych treningowych niszowymi publikacjami naukowymi, co utrudnia im radzenie sobie z materiałem, który nigdy wcześniej nie pojawił się w sieci.

Prawdziwa przepaść ujawniła się jednak przy próbie wykrywania zadań wadliwych. Okazuje się, że zwiększanie mocy obliczeniowej i wydłużanie czasu „myślenia” modelu (reasoning budget) pomaga w rozwiązywaniu trudnych równań, ale w ogóle nie poprawia zdolności do asertywnej odmowy. Nawet najlepsze systemy nie przebiły tu bariery 50% skuteczności. Szczególnie spektakularną porażkę zaliczyła rodzina Qwen3, która niemal za każdym razem wpadała w pułapkę, próbując za wszelką cenę rozwiązać zadania sprzeczne logicznie.

Człowiek kontra algorytm: walka na sekundy

Interesująco wypada porównanie z ludźmi. Zespół badawczy zestawił maszyny z grupą 25 ekspertów, w tym medalistami IMO i doktorantami. Choć Gemini 3 Pro zdołało przebić zbiorczy wynik ludzi (61% do 51%), badacze studzą entuzjazm. Formuła testu – 4,5 godziny na rozwiązanie – premiowała sprawność typową dla uczestników olimpiad, a nie głębię analizy właściwą dla pracy naukowej. Dlatego studenci z doświadczeniem konkursowym wypadali lepiej niż wyspecjalizowani pracownicy naukowi, dla których ramy czasowe stanowiły barierę.

Twórcy SOOHAK zdecydowali się na radykalny krok w celu ochrony czystości testu: pełny zbiór danych zostanie upubliczniony dopiero pod koniec 2026 roku. Ma to zapobiec „zatruciu” procesów treningowych nowych modeli odpowiedziami z benchmarku. Mimo to autorzy przyznają, że ich metoda ma ograniczenia – opiera się na czystych wynikach numerycznych, co pomija ogromną część wyższej matematyki opartą na dowodach i konstrukcjach geometrycznych.

Blaski i cienie matematycznej intuicji AI

Choć poszczególni giganci, jak Terence Tao czy Timothy Gowers, donoszą o pojedynczych „przebłyskach” AI w teorii liczb czy rozwiązywaniu problemów Erdősa, SOOHAK rzuca na sprawę bardziej obiektywne światło. Systematyczne badania pokazują, że sukcesy na poziomie publikowalnych odkryć naukowych są wciąż rzadkimi anomaliami, statystycznym szczęściem w morzu halucynacji. Dopóki modele nie nauczą się rozpoznawać granic własnej wiedzy i błędów w założeniach, ich rola w matematyce pozostanie rolą sprawnego rzemieślnika, a nie samodzielnego badacza.