Korekta kursu w rankingach AI. Artificial Analysis aktualizuje wskaźniki pod presją GPT-6 Astra

W świecie benchmarków sztucznej inteligencji rzadko dochodzi do tak nagłych zwrotów akcji. Artificial Analysis, jeden z czołowych arbitrów wydajności modeli językowych, udostępnił wersję 4.2 swojego Intelligence Index. To bezpośrednia odpowiedź na kontrowersje, jakie wywołała poprzednia ocena modelu GPT-6 Astra. Podczas gdy OpenAI i niezależne podmioty raportowały świetne wyniki, indeks plasował Astrę początkowo na równi z poprzednikiem. Nowa metodologia naprawia ten błąd, odnotowując wzrost o cztery punkty dla flagowca OpenAI.

Aktualizacja ta jest kluczowa dla zrozumienia obecnego układu sił, ponieważ stara metodologia przestała nadążać za tempem rozwoju dużych modeli językowych. Nowy ranking opiera się na 10 zróżnicowanych ewaluacjach, które mają wyeliminować przypadkowe wyniki. Zmiana o 4 punkty w skali Intelligence Index to wyraźny sygnał, że poprzednie narzędzia pomiarowe po prostu nie dosięgały możliwości nowej architektury OpenAI.

Realna przewaga a błędy pomiarowe

Rewizja rankingu była konieczna, aby zachować jego wiarygodność. Wcześniejsze dane Epoch AI, obejmujące ponad 50 testów, dawały Astrze pierwsze miejsce wśród 267 modeli. Co więcej, model ten wykazuje imponującą sprawność operacyjną – według Artificial Analysis Astra zużywa mniej tokenów na zadanie niż jakikolwiek inny system tej klasy. Mimo to, w zaktualizowanym zestawieniu Astra wciąż musi uznać wyższość Claude Fable 5.1; firma Anthropic utrzymuje fotel lidera. Podium zamyka Meta, co pokazuje, że dystans między wielką trójką pozostaje minimalny.

Koniec ery prostych testów

Aktualizacja 4.2 to nie tylko kosmetyka punktowa, ale głęboka reforma metodologii. Z indeksu zniknął popularny dotąd test GPQA-Diamond, który uznano za „rozwiązany” przez współczesne modele. W jego miejsce pojawiły się wyzwania bliższe rzeczywistości: AA-Briefcase, sprawdzający wiedzę ekspercką, oraz GDP.pdf od Surge AI, koncentrujący się na analizie dokumentów. Autorzy rankingu wprost zaznaczają, że obecna wersja zawiera „bardziej złożone i realistyczne zadania oraz więcej prywatnych zestawów testowych, aby zapobiec manipulowaniu wynikami”.

Aby ukrócić praktykę optymalizacji modeli pod konkretne zestawy pytań, dane z testów prywatnych stanowią obecnie aż 40 procent wagi całego wyniku. To cios w stronę firm, które trenują swoje sieci wprost pod publicznie dostępne arkusze egzaminacyjne.

W stronę stabilności

Przedstawiciele Artificial Analysis przyznają, że wstrzymywali się z aktualizacjami, by zapewnić stabilność wyników w okresie premier, jednak tempo rozwoju rynku wymusiło doraźną interwencję. Obecnie trwają prace nad wersją 5.0, która powstaje od ośmiu miesięcy i ma być wdrażana etapami. Dla branży to jasny sygnał: stare miary stają się bezużyteczne szybciej, niż powstają nowe, a wyścig o miano najbardziej efektywnego kosztowo modelu staje się coraz bardziej wyrównany, angażując obok gigantów z USA także chińskie Zhipu AI. Na ten moment hierarchia jest jasna: Claude Fable 5.1 prowadzi w indeksie, a tuż za nim plasuje się GPT-6 Astra.