TokenSpeed: LightSeek przełamuje monopol TensorRT-LLM kodem open source

Wydajność inferencji przestała być problemem teoretycznym, a stała się najwęższym gardłem infrastruktury sztucznej inteligencji. Gdy agenci tacy jak Claude Code czy Cursor ewoluują z prostych zabawek w systemy operacyjne dla inżynierii oprogramowania, tradycyjne silniki serwujące modele LLM (ang. Large Language Models) zaczynają pękać pod ciężarem kontekstów przekraczających 50 tysięcy tokenów.

Przełamać dominację Nvidii

Fundacja LightSeek właśnie wypuściła TokenSpeed – silnik inferencyjny na licencji MIT, który udowadnia, że otwarta architektura może wygrywać z gigantem. W środowisku, gdzie liczy się każda milisekunda, TokenSpeed celuje wprost w terytorium zarezerwowane dotąd dla TensorRT-LLM.

Największa zmiana? Podejście do obciążeń agentowych (agentic workloads). Klasyczny chatbot to prosta wymiana zdań. Agent to maraton: dziesiątki interakcji, gigantyczne okna kontekstowe i wymaganie stałej responsywności na poziomie 70-200 TPS (tokenów na sekundę). TokenSpeed nie próbuje być dobry we wszystkim – jest zoptymalizowany pod ekstremalny przepływ danych w kodowaniu.

Architektura odporna na błędy

Fundamentem systemu jest unikalny podział obowiązków. Zarządzanie zasobami KV cache zostało zamknięte w maszynie stanów napisanej w C++. Dzięki temu błędy alokacji pamięci, zmora systemów serwujących modele LLM, są wyłapywane już na etapie kompilacji, a nie podczas krytycznego obciążenia produkcyjnego.

• Modelowanie SPMD: Automatyczna generacja komunikacji między procesami dzięki statycznemu kompilatorowi.
• Podwójna płaszczyzna (Dual Plane): Sterowanie w C++ dla bezpieczeństwa, egzekucja w Pythonie dla szybkości iteracji.
• Jądro MLA (MLA Kernel): Najszybsza implementacja Multi-head Latent Attention na rynku, skracająca latencję niemal o połowę.

Blackwell pod kontrolą

Liczby z testów na układach NVIDIA B200 są bezlitosne dla dotychczasowego status quo. W testach z modelem Kimi K2.5, TokenSpeed wyprzedził TensorRT-LLM o 9% pod kątem minimalnej latencji i o 11% w ogólnej przepustowości systemu. To nie są przyrosty kosmetyczne – to różnica między płynnym działaniem agenta a irytującym opóźnieniem.

Kluczem do sukcesu okazała się manipulacja na poziomie jąder GPU. Zespół LightSeek „oszukał” system, grupując osie zapytań tak, aby w pełni nasycić rdzenie Tensor Cores. Wynik? Jądro MLA z TokenSpeed jest tak wydajne, że zostało już zaadoptowane przez projekt vLLM.

Sceptycyzm pozostaje cnotą

Mimo imponujących wyników TokenSpeed pozostaje w fazie podglądu (preview). Warto zauważyć, że obecne benchmarki dotyczą wdrożeń jednostkowych (non-disaggregated). Dopóki system nie udowodni swojej stabilności w pełnej, rozproszonej architekturze produkcyjnej, musimy traktować obietnice fundacji jako bardzo obiecujący, ale wciąż rozwijany prototyp.

Jedno jest pewne: era ślepego polegania na zamkniętym stosie technologicznym dostawców sprzętu dobiega końca.