Inkling-Small: Mniejszy gigant z Thinking Machines Lab rzuca wyzwanie pierwowzorowi

W świecie modeli językowych rozmiar przestał być jedynym wyznacznikiem potęgi. Thinking Machines Lab udowodniło to pod koniec lipca 2026 roku, publikując Inkling-Small – model typu Mixture-of-Experts (MoE) o łącznej liczbie 276 miliardów parametrów. Choć na papierze jest on niemal czterokrotnie mniejszy od swojego poprzednika, to w kluczowych zastosowaniach związanych z agentami i zadaniach logicznych okazuje się sprawniejszy. Model udostępniono na otwartej licencji Apache 2.0, co w połączeniu z optymalizacją kwantyzacji radykalnie obniża próg wejścia dla sektora prywatnego.

Dlaczego to ważne teraz?

Premiera Inkling-Small to moment, w którym zaawansowana multimodalność i potężne okno kontekstowe (do 1 miliona tokenów) trafiają w ręce społeczności open-weights. Zespół Thinking Machines Lab stworzył system, który przy 276 miliardach parametrów ogółem, aktywuje tylko 12 miliardów na każdy token. Oznacza to, że potężne narzędzie analityczne, zdolne do natywnego przetwarzania dźwięku i obrazu bez zewnętrznych enkoderów, można uruchomić na infrastrukturze dostępnej dla średniej wielkości firm, a nie tylko technologicznych molochów.

Efektywność architektury MoE

Inkling-Small opiera się na 42-warstwowym dekoderze transformerowym z rzadkim szkieletem MoE. Jak podkreślają twórcy w oficjalnym komunikacie, jest to „lżejszy model z 12 miliardami aktywnych parametrów”, co drastycznie obniża koszty obliczeniowe przy zachowaniu ogromnej bazy wiedzy. Każdy token trafia do 6 z 256 dostępnych ekspertów. Co istotne, model jest natywnie multimodalny – przetwarza tekst, obrazy i dźwięk bezpośrednio w ramach jednej struktury osadzeń, co eliminuje opóźnienia typowe dla systemów hybrydowych.

Przełom w dostępności sprzętowej

Największą barierą dla modeli klasy 200B+ była dotąd konieczność posiadania potężnej infrastruktury. Standardowy format BF16 wymagał aż 600 GB agregowanego VRAM. Inkling-Small przełamuje ten schemat dzięki zastosowaniu formatu NVFP4, który obniża wymagania do poziomu 180 GB. Oznacza to, że model można uruchomić na pojedynczym układzie NVIDIA B300 lub dwóch kartach H200. Dla startupów to sygnał, że zaawansowane AI można uruchamiać lokalnie, dbając o prywatność danych w finansach czy medycynie.

Uczeń przerósł mistrza

Wyniki benchmarków pokazują ciekawą ewolucję uczenia maszynowego. Inkling-Small, trenowany z wykorzystaniem destylacji wiedzy oraz intensywnego uczenia ze wzmocnieniem (RL), wyprzedził pierwowzór w testach kodowania. W wymagającym SWE-bench Verified uzyskał 77,6%, wykazując się dużą biegłością w naprawie błędów w rzeczywistym kodzie. W teście Terminal Bench 2.1 model osiągnął z kolei wynik 63,8%, co czyni go jednym z najsprawniejszych asystentów technicznych dostępnych publicznie.

Gdzie tkwią kompromisy?

Mniejsza skala niesie jednak ograniczenia w precyzji faktograficznej. W teście SimpleQA Verified model odnotował spadek do poziomu 20,6%, podczas gdy pełnowymiarowy Inkling utrzymuje wynik 43,9%. Sugeruje to, że o ile procesy wyciągania wniosków działają świetnie, to zdolność do przywoływania suchych faktów z pamięci wciąż zależy od całkowitej liczby parametrów. Twórcy rekomendują więc stosowanie systemów moderacji, jak Llama Guard, oraz weryfikację odpowiedzi modelu w zastosowaniach krytycznych.

Nowe horyzonty multimodalności

Dzięki oknu kontekstowemu o wielkości miliona tokenów, Inkling-Small staje się potężnym narzędziem analitycznym. Możliwość programistycznego powiększania fragmentów wykresów za pomocą Pythona podniosła jego skuteczność w testach wizualnych do ponad 81%. Model, dostępny do pobrania przez Hugging Face, radzi sobie także z analizą długich nagrań audio i wideo, oferując wszechstronność, która dotąd była zarezerwowana dla zamkniętych, płatnych ekosystemów.