K2 Think: Nowy, otwarty system AI od MBZUAI konkuruje z gigantami dzięki innowacyjnemu Podejściu
W świecie sztucznej inteligencji, gdzie dominują coraz większe i bardziej złożone modele, zespół naukowców z Instytutu Modeli Fundamentalnych MBZUAI oraz G42 przedstawia alternatywę: K2 Think, system rozumowania AI z 32 miliardami parametrów. Model K2 Think prezentuje innowacyjne podejście, które łączy zaawansowane techniki uczenia maszynowego z optymalizacjami na poziomie sprzętu. Wszystko to przy zachowaniu pełnej transparentności i udostępnieniu zasobów na zasadach open source.
Filary innowacji K2 Think
K2 Think opiera się na modelu Qwen2.5-32B, który został poddany dalszemu uczeniu. Zastosowano szereg technik optymalizacyjnych. Kluczowe elementy systemu to:
- Długie łańcuchy myślowe (Chain-of-Thought, CoT) w uczeniu nadzorowanym.
- Uczenie przez wzmacnianie z weryfikowalnymi nagrodami (RLVR).
- Agentowe planowanie przed rozwiązaniem problemu.
- Skalowanie w czasie testowania poprzez selekcję najlepszych rozwiązań z wykorzystaniem weryfikatorów.
- Spekulatywne dekodowanie.
- Wnioskowanie na silnikach typu Wafer-Scale.
Takie podejście pozwala na osiągnięcie wysokiej efektywności przy stosunkowo niewielkiej liczbie parametrów. K2 Think nie tylko dorównuje większym modelom w rozwiązywaniu problemów matematycznych, ale także utrzymuje konkurencyjność w zadaniach związanych z kodowaniem i nauką.
Uczenie z nagrodami i planowaniem
Model był trenowany z wykorzystaniem RLVR na zbiorze danych Guru, zawierającym około 92 tysiące przykładów z różnych dziedzin, takich jak matematyka, kodowanie i logika. Dodatkowo, przed wygenerowaniem pełnego rozwiązania, system najpierw tworzy plan działania, co przyczynia się do skrócenia odpowiedzi i zwiększenia dokładności. W fazie testowania wykorzystywane jest próbkowanie best-of-N, gdzie wybierane jest najlepsze rozwiązanie spośród wielu wygenerowanych kandydatów.
Wydajność i skalowalność
K2 Think został zoptymalizowany pod kątem pracy na platformie Cerebras Wafer-Scale Engine, osiągając przepustowość do 2000 tokenów na sekundę. To sprawia, że jest praktycznym rozwiązaniem zarówno dla celów badawczych, jak i produkcyjnych.
Wyniki i porównania
Testy wykazały, że K2 Think osiąga znakomite wyniki w benchmarkach matematycznych, takich jak AIME’24, AIME’25 i HMMT’25. W kodowaniu, model uzyskał wynik 63.97 w LiveCodeBench v5, przewyższając wiele większych modeli open source. Co istotne, K2 Think zachowuje konkurencyjność również w zadaniach wymagających wiedzy i rozumowania naukowego, co potwierdzają wyniki w GPQA-Diamond i HLE.
Podsumowanie
K2 Think to przykład, jak integracja zaawansowanych technik uczenia maszynowego, optymalizacji w czasie testowania i uwzględniania specyfiki sprzętu może pozwolić na stworzenie systemu AI, który konkuruje z znacznie większymi, zamkniętymi rozwiązaniami. Dostępność modelu na zasadach open source otwiera nowe możliwości dla badaczy i programistów, umożliwiając dalszy rozwój i adaptację tego innowacyjnego systemu.
