Gemini 4 Argon w testach ARC-AGI-3. Wynik zależy od konfiguracji środowiska

Google DeepMind przedstawiło wyniki modelu Gemini 4 Argon w benchmarku ARC-AGI-3. Choć system osiągnął rezultat 97,5 proc., pomiar ten nie jest bezwzględnym wskaźnikiem możliwości modelu — zależał bezpośrednio od specyficznego środowiska testowego i w innych warunkach był znacznie niższy.

Rezultat 97,5 proc. odnotowano w wariancie Provider Adapter Harness. W tej konfiguracji wykorzystano dedykowane funkcje API dostawcy, w tym mechanizmy Retained Reasoning oraz Compaction do optymalizacji kontekstu. Wśród 25 publicznych gier Argon wykonał o 62 proc. mniej akcji niż wynosi średnia dla ludzi, a w części zadań zbliżył się do dotychczasowych rekordów szybkości. Wynik ten bywa zestawiany z 99,9 proc. uzyskanym przez GPT-6 Astra, jednak publicznie dostępne dane nie potwierdzają, czy oba modele testowano w identycznych warunkach i przy takich samych ustawieniach środowiska.

Spadek skuteczności w Standard Harness

W standardowym środowisku testowym (Standard Harness), w którym modele mogą wymieniać między rundami wyłącznie proste notatki tekstowe, rezultaty Argona wyglądały inaczej. Przy niskim poziomie rozumowania model uzyskał 49,8 proc., a przy średnim — 46,3 proc. Na przebieg tych prób wpłynęły jednak problemy techniczne z API: model nie zdołał ukończyć wszystkich 55 gier, finalizując odpowiednio 42 i 46 z nich. Raportowane wyniki uwzględniają cząstkowe punkty przyznane za przerwane podejścia.

Najbardziej wymagający wariant ujawnił jeszcze większe trudności techniczne. Przy najwyższym poziomie rozumowania Argon ukończył zaledwie 19 z 55 zadań, przez co organizatorzy benchmarku w ogóle nie opublikowali oficjalnego wyniku punktowego dla tej konfiguracji. Rozbieżności te pokazują, jak silnie rezultaty w ARC-AGI-3 zależą od dostępu do zaawansowanych funkcji interfejsu oraz stabilności połączenia z modelem.

Pozycja w zestawieniu Epoch AI

Szerszy obraz możliwości Gemini 4 Argon przynosi zbiorczy indeks Epoch Capabilities Index (ECI), prowadzony przez instytut Epoch AI na podstawie ponad 50 benchmarków. Model Google uzyskał w nim 165 punktów, plasując się blisko czołówki, lecz za Claude Opus 5.5 (167 punktów) oraz GPT-6 Astra (166 punktów).

Pozycja Argona różni się w zależności od badanej dziedziny. Model notuje wysokie wyniki w testach wiedzy, rozpoznawania obrazu oraz zadaniach agentowych, jednak wstępne szacunki Epoch AI wskazują na słabszą formę w zadaniach specjalistycznych: ósme miejsce w rankingu matematycznym (Math ECI) oraz szóste w indeksie inżynierii oprogramowania (SWE ECI).