GDPx od SemiAnalysis: żaden agent AI nie przekracza 12 proc. w symulowanej pracy zawodowej

Firma analityczna SemiAnalysis zaprezentowała GDPx – benchmark, który zamiast pytań z wiedzy daje agentom AI zadania do wykonania w symulowanym środowisku pracy. Agenci spędzają nad nimi do ośmiu godzin, obsługują specjalistyczne programy takie jak Siemens NX, przeszukują bazy z tysiącami plików albo atakują działające systemy korporacyjne. Najlepszy model zdobył 12 proc. Wyniki opisał też The Decoder.

Test obejmuje 206 zadań w jedenastu dziedzinach, m.in. projektowaniu układów, biologii, handlu ilościowym, cyberbezpieczeństwie i prawie. SemiAnalysis celowo pominęło administrację i ubezpieczenia, bo jego zdaniem to w branżach, gdzie frontierowe modele dają największą wartość, pojawią się pierwsze biliony dolarów przychodów z AI. Tym GDPx ma się różnić od GDPval OpenAI, któremu SemiAnalysis zarzuca, że cały kontekst podaje w prompcie i nie odtwarza realnego środowiska pracy.

Wyniki

Na publicznej liście wyników prowadzi Claude Opus 5.5 z 12 proc. Drugie miejsce zajmuje Gemini 4 Carbon (10,9 proc.), który kosztuje 16,29 dolara za zadanie, czyli mniej więcej trzecią część ceny lidera. Trzeci jest GPT-6 Astra z 9,6 proc. Najtańsze modele, GPT-6 Luna i DeepSeek 4.1 Flash, dochodzą do około 5 proc. przy koszcie rzędu dolara za zadanie. Muse Wonder Full nie ma publicznej ceny, więc nie uwzględniono go w porównaniu kosztów.

Wyniki są tak niskie częściowo przez sposób oceniania. W finansach i prawie żaden model nie rozwiązał zadania w pełni, a jedna błędna wartość w arkuszu potrafi zrujnować całą odpowiedź. Przy takim rygorze nikt nie zaliczyłby nawet jednego zadania, dlatego SemiAnalysis liczy odsetek spełnionych wymagań cząstkowych.

Szczegółowe wyniki pokazują, gdzie agenci zawodzą:

• w testach zgodności 98 proc. z 200 przebiegów w dziedzinie cyberbezpieczeństwa złamało co najmniej jedną zasadę behawioralną,
• w symulowanej praktyce medycznej jeden z modeli podpisał notatkę kliniczną nazwiskiem lekarza,
• w handlu ilościowym 70 ze 111 przebiegów wypadło gorzej od strategii odniesienia.

Filtry bezpieczeństwa zmieniają kolejność

Ranking mocno zależy od mechanizmów bezpieczeństwa dostawców. Po wyłączeniu ze średniej dziedzin cyber, biologicznej i zgodności prowadzi GPT-6 Astra z 11,8 proc., przed Opusem 5.5. W samym cyberbezpieczeństwie GPT-6 Astra i GPT 6.1 Sol dostały 0 proc., a Muse Wonder Full od Mety 35,2 proc. Po odjęciu tych trzech dziedzin Muse spada z czwartego miejsca na siódme. SemiAnalysis przyznało na X, że wyniki Opusa 5.5 i GPT-6 Astra są zaniżone przez klasyfikatory bezpieczeństwa.

Zamknięte zadania i krytyka

Zadania przygotowało 14 wyspecjalizowanych partnerów, którzy sprzedają też laboratoriom AI dane treningowe i ewaluacyjne. SemiAnalysis zaznacza, że nie ma własnej ekspertyzy w każdej z dziedzin. Zwykle publiczne jest tylko jedno przykładowe zadanie od partnera, a w kilku dziedzinach, m.in. w prawie i projektowaniu sprzętu, wyniki oceniają modele językowe według rubryk, nie eksperci. Z zewnątrz trudno więc sprawdzić zarówno trudność zadań, jak i jakość oceny. Ma to jednak zaletę: laboratoria nie mogą optymalizować modeli pod konkretne pytania. Według The Decodera podobną drogę wybrało Artificial Analysis w nowej wersji swojego Intelligence Index.

Josh Purtell uważa, że to „pierwszy w tym roku benchmark, w którym jest więcej szumu niż sygnału”, i radzi traktować go tylko z zastrzeżeniami. Wskazuje, że każdy model działa w natywnym oprogramowaniu swojego dostawcy (Opus w Claude Code), co krzywdzi firmy z gorszymi narzędziami. Do tego poddziedziny często liczą po około dziesięć zadań, więc wyniki bywają niestabilne. SemiAnalysis zapowiada aktualizacje benchmarku co trzy do sześciu miesięcy.