Kimi K3.1 Pro: 2,8 biliona parametrów, milion tokenów kontekstu i licencja, która nie jest otwarta
Kimi K3.1 Pro to model typu mixture-of-experts o 2,8 biliona parametrów, z których na token aktywuje się 104 miliardy. Okno kontekstowe ma 1 048 576 tokenów. Zgodnie z opisem w repozytorium na Hugging Face sieć składa się z 93 warstw i 896 ekspertów, z których 16 jest wybieranych dla każdego tokena, a 2 są współdzielone. Moonshot promuje model jako narzędzie do programowania i przeglądania sieci.
Najciekawsza zmiana dotyczy uwagi. Wersja K3 używała pełnej uwagi Gated MLA, a w K3.1 Pro zastąpiono ją warstwami Gated DeepSeek Sparse Attention (Gated DSA), które mają skuteczniej obsługiwać długi kontekst. Układ uwagi opisano jako „69 KDA + 24 Gated DSA”. Wagi trenowano z uwzględnieniem kwantyzacji do MXFP4 przy aktywacjach MXFP8. Ma to ułatwić praktyczne uruchamianie modelu tej skali. Za część wizualną odpowiada MoonViT-V2 z 401 mln parametrów.
Według Moonshot K3.1 Pro powstał przez dalszy trening K3 z użyciem „wielkoskalowego wspólnego uczenia przez wzmocnienie w setkach domen docelowych”. Firma nazywa go swoim najbardziej zaawansowanym modelem open-weight klasy 3T i pierwszym z nowej serii K3.1 (ogłoszenie na forum Moonshot).
Wyniki własne Moonshot
Firma podaje m.in.:
- BrowseComp: 92,1,
- Terminal-Bench 4.0: 65,7,
- HLE-Full z narzędziami: 70,0,
- SWE Marathon v1.1: 51,7,
- GPQA-Diamond: 94,2.
W dokumentacji API Moonshot zestawia Terminal-Bench 4.0 z konkurencją: 65,7% to więcej niż 58,2% dla GPT-6 Astra, ale mniej niż 66,4% dla Claude Opus 5.5. Na własnym teście Kimi Code Bench 3.0 Long-horizon model zdobywa 61,2% wobec 55,95% dla K3. Wszystkie te liczby to wyniki deklarowane przez producenta. Jak zauważa AI Weekly, wyniki wewnętrznych benchmarków Moonshot, takich jak Kimi Code Bench, DECK-Arena czy Business Operation, nie są w pełni porównywalne z niezależnymi pomiarami. W rankingu Artificial Analysis, o którym pisaliśmy 27 października, model zajął czwarte miejsce z wynikiem 55 punktów.
Licencja i dostęp
Moonshot określa K3.1 Pro jako model open-weight, ale wagi wydano na zasadach własnej „Kimi K3.1 Pro License”, a nie na licencji Apache 2.0 czy MIT. Ostateczne warunki trzeba więc sprawdzić w tekście licencji. Do modelu można też dostać się przez API na platform.kimi.ai. Końcówki są kompatybilne z formatami OpenAI i Anthropic, a do korzystania z flagowego modelu trzeba doładować konto minimum o 1 USD.
Premiera ma też wątek bezpieczeństwa, o którym pisaliśmy już 26 października. Moonshot przed publikacją wag celowo osłabił zdolności ofensywne w obszarze cyberataków (Dealroom). Według Caixin model ma być mocny nie tylko w kodowaniu, lecz także w tworzeniu 3D, analizie finansowej i zadaniach agentowych o długim czasie działania.
