Kimi K3.1 Pro w czołówce rankingu. Moonshot celowo przytępił jego zdolności hakerskie
Moonshot AI wypuścił Kimi K3.1 Pro i od razu wprowadził go do czołówki rankingu Artificial Analysis. Jak opisuje PurePC, model zdobył 55 punktów w Intelligence Index, o 11 więcej niż Kimi K3, i wyprzedził GPT-6 Astra oraz Claude Fable 5.1. Najciekawsze jest jednak co innego: chińska firma przyznaje, że świadomie obcięła modelowi część umiejętności ofensywnych.
Skok w zadaniach agentowych
Architektura pozostała ta sama co w K3: Mixture of Experts z 2,8 bln parametrów, z których przy każdym tokenie aktywnych jest 104 mld, oraz kontekst o długości miliona tokenów. Zmieniła się skala post-treningu, czyli dodatkowego szkolenia po zakończeniu podstawowego etapu uczenia. Model przyjmuje tekst i obrazy.
Według Artificial Analysis przed Kimi K3.1 Pro są tylko Claude Opus 5.5 (58 pkt), Claude Sonnet 5.5 (56) i Muse Wonder Full (56). Największy postęp widać w zadaniach agentowych:
- GDPval-AA: 1846 Elo, o 312 więcej niż w K3, trzecie miejsce za Claude Opus 5.5 i Muse Wonder Full;
- Terminal-Bench 4.0: 67 proc. wobec 13 proc. u poprzednika, najlepszy wynik spośród wszystkich ocenionych modeli, przed Claude Sonnet 5.5 (64 proc.);
- AutomationBench-AA, test agentowych przepływów pracy w aplikacjach SaaS: wzrost z 58 do 73 proc.
W pozostałych testach poprawa jest skromniejsza: Humanity’s Last Exam rośnie z 47 do 52 proc., a SciCode z 59 do 61 proc. Wskaźnik halucynacji w AA-Omniscience spadł z 53 do 44 proc.
Cena API spadła o jedną trzecią: 2 dolary za milion tokenów wejściowych i 10 dolarów za milion wyjściowych. PurePC zwraca uwagę, że tańszy cennik nie oznacza tańszego rozwiązywania zadań. Artificial Analysis wyliczyło średnio 2,11 dolara na zadanie dla Kimi K3.1 Pro i 0,72 dolara dla GPT-6.1 Sol w porównywanym wariancie, bo chiński model zużywa więcej tokenów na rozumowanie (55 tys. na zadanie wobec 48 tys. w K3).
Cyberbezpieczeństwo: mniej, ale nadal dużo
Moonshot usunął dane związane z cyberatakami z etapów treningu i ze środowisk uczenia przez wzmacnianie. W wewnętrznym teście xdev-bench-hard, polegającym na znajdowaniu i wykorzystywaniu luk w oprogramowaniu, wersja bez ograniczeń osiągnęła 90,5 proc., a ta przygotowana do publikacji 81 proc. Dla porównania Kimi K3 uzyskał tam 33,3 proc.
Różnica jest więc wyraźna, ale 81 proc. nadal oznacza ponad dwukrotnie lepszy wynik niż u poprzednika. Co więcej, test przygotował sam Moonshot, jego wyników nie potwierdziło niezależne laboratorium, a nie wszystkie szczegóły metodologii są znane. Trudno więc porównać ten wynik z innymi modelami w identycznych warunkach. W lipcu pisaliśmy, że Kimi K3 nie zdołał przeprowadzić ani jednego udanego ataku typu ACE w benchmarkach cyberbezpieczeństwa, mimo braku filtrów na zapytania ofensywne.
Firma tłumaczy, że chce dostarczyć model przydatny w programowaniu, nie przekraczając granicy możliwości ofensywnych. To ma znaczenie, bo pełne wagi mają zostać opublikowane do 4 listopada. Po ich publikacji model można uruchamiać i modyfikować lokalnie, poza kontrolą producenta. PurePC przypomina też, że otwarte wagi nie oznaczają otwartości całego projektu: nie wynika z nich automatycznie dostęp do danych treningowych, kodu czy szczegółów procesu uczenia.
Publikacja wag zmieni układ sił wśród modeli otwartych. Według Artificial Analysis Kimi K3.1 Pro stanie się wtedy najlepszym modelem open-weights, a dystans do najlepszych modeli zamkniętych w Intelligence Index zmaleje z 12 do 3 punktów. Czy ograniczenia w zdolnościach hakerskich okażą się skuteczne, pokażą dopiero niezależne testy po udostępnieniu modelu.
Caixin podał, że Moonshot mówi o modelu z około 3 bln parametrów, szczególnie mocnym w kodowaniu, tworzeniu grafiki 3D, badaniach finansowych i długotrwałych zadaniach agentowych. Bloomberg opisał premierę jako pierwszą większą aktualizację modeli Moonshot od czasu jego własnego „DeepSeek moment”.
