Koniec taryfy ulgowej. OpenAI podważa rzetelność testów programistycznych i wycofuje poparcie dla SWE-bench
Ewaluacja modeli AI wchodzi w fazę bolesnej rewizji. OpenAI oficjalnie ogłosiło koniec ery opierania się na wynikach SWE-bench Verified – popularnego sprawdzianu dla cyfrowych programistów. Powód? Głęboki kryzys zaufania. Okazało się, że to, co braliśmy za postęp w pisaniu kodu, było częściowo seryjnym kopiowaniem gotowców z bazy treningowej i walką z błędami w samym teście.
Dlaczego to ważne właśnie teraz? Branża doszła do ściany, w której modele takie jak GPT-5.2 czy Claude 4.5 osiągają rekordowe wyniki, ale w realnej pracy zawodzą. Według najnowszego audytu OpenAI, dotychczasowe mierniki przestały odzwierciedlać faktyczne umiejętności inżynierskie, stając się jedynie testem na zapamiętywanie danych z internetu.
Mechanizm błędu w realnych projektach
Zadania w SWE-bench miały gwarantować realizm, bo pochodziły z historii commitów projektów open-source. W praktyce okazały się pułapką. OpenAI ujawniło, że aż 59,4 proc. z audytowanych zadań zawierało błędy w testach. Wiele z nich odrzucało w pełni poprawne funkcjonalnie rozwiązania tylko dlatego, że AI nie użyło konkretnej nazwy funkcji oczekiwanej przez skrypt, mimo że treść zadania o niej nie wspominała.
Doszło do sytuacji kuriozalnych. W projekcie OpenLibrary AI wstawiło jedną spację zgodnie z instrukcją, ale niewidoczny skrypt testowy oczekiwał dwóch. Jak zauważył serwis Coding Fleet: — Benchmark nie był tylko zanieczyszczony. On błędnie oceniał poprawne odpowiedzi jako błędne.
Przecieki i pudrowanie statystyk
Największym problemem okazało się jednak – używając branżowego żargonu – zanieczyszczenie danych (contamination). Modele przestały programować, a zaczęły reprodukować tzw. gold patche, czyli gotowe rozwiązania, które widziały podczas treningu. Skutek był piorunujący. Skuteczność czołowych systemów na papierze wzrosła z 23 proc. do 80 proc. w zaledwie osiem miesięcy. Gdy jednak te same modele rzucono na zestaw SWE-bench Pro, obejmujący 1865 zadań z 41 profesjonalnych repozytoriów, ich skuteczność drastycznie spadła do poziomu około 23 proc.
Ludzka surowość kontra algorytmy
Audyt pokazał też, jak bardzo różnimy się w ocenie jakości. Eksperci OpenAI byli bezlitośni. Pięcioosobowy zespół doświadczonych programistów zakwestionował aż 34,1 proc. przypadków. Firma wprost przyznaje: „Ulepszenia w SWE-bench Verified nie odzwierciedlają już znaczących postępów w rzeczywistych zdolnościach modeli do tworzenia oprogramowania”. To jasny sygnał, że dotychczasowe rankingi można włożyć między bajki.
Nowe zasady gry
Upadek dotychczasowego standardu wymusza przejście na trudniejsze i bardziej hermetyczne zestawy, jak wspominany SWE-bench Pro. Choć i on nie jest idealny – jak wyliczył analityk June Kim, około 15 proc. publicznych zadań w tym zestawie jest niedeterministycznych – to obecnie jedyna droga ucieczki przed stagnacją.
Dla OpenAI i konkurencji oznacza to jedno: koniec z chwaleniem się pustymi liczbami. Wyniki testów bezpośrednio wpływają na bezpieczeństwo i decyzję o wypuszczeniu modelu na rynek. Używanie dziurawego miernika to ryzyko wdrożenia systemu, który w krytycznym momencie po prostu wyprodukuje wadliwy kod, udając, że wszystko działa.
