MiniMax M3.1 Flash w benchmarkach: wyższy wynik, niższy koszt i 93 proc. halucynacji

W zestawieniu serwisu Artificial Analysis nowy model MiniMax M3.1 Flash uzyskał 42 punkty w Intelligence Index — to o 13 punktów więcej niż w przypadku wcześniejszej wersji M3. Wynik ten plasuje go na równi z GLM-5.3-Flash i nieco powyżej Gemini 3.8 Flash (41 punktów), ale poniżej Deepseek V4.1 Flash 1017, który zdobył 45 punktów.

Bezpośrednie zestawienie z Deepseekiem nie wskazuje jednoznacznego faworyta, ponieważ rezultaty różnią się w zależności od sprawdzianu. W teście Humanity’s Last Exam, badającym złożone rozumowanie, MiniMax osiągnął 48 proc. wobec 43 proc. Deepseeka. Z kolei w sprawdzianie CritPt, opartym na problemach fizycznych na poziomie akademickim, Deepseek utrzymał przewagę z wynikiem 24 proc., podczas gdy M3.1 Flash zdobył 22 proc.

W teście wiedzy faktograficznej AA-Omniscience model MiniMax uzyskał 56 proc. poprawnych odpowiedzi (przy 43 proc. u Deepseeka), jednak analitycy Artificial Analysis zwracają uwagę na istotne ograniczenie: wskaźnik halucynacji modelu oszacowano na 93 proc. Wynika to przede wszystkim ze specyfiki jego zachowania — M3.1 Flash próbuje wygenerować odpowiedź niemal na każde zadane pytanie, zamiast powstrzymać się od reakcji w sytuacji braku pewności.

Różnice widać również w kalkulacji kosztów. W testowanym scenariuszu Artificial Analysis oszacowało średni koszt zadania na około 0,22 dolara dla MiniMaxa i 0,26 dolara dla Deepseeka. Wynika to m.in. z mniejszej liczby tokenów generowanych w odpowiedzi: MiniMax zużył w testach około 189 mln tokenów wyjściowych, podczas gdy Deepseek wygenerował ich 224 mln. Sam MiniMax deklaruje także trzykrotny wzrost szybkości działania względem poprzednika.

Dostęp do M3.1 Flash jest obecnie możliwy przez API, a twórcy zapowiedzieli publikację otwartych wag modelu na 23 października.