DeepSeek otwiera DeepInfer – silnik, który napędza jego najtańszy model
DeepSeek opublikował kod DeepInfer, swojego wewnętrznego frameworku do inferencji, czyli obsługi zapytań przez wytrenowany model. O wydaniu firma poinformowała na X, a kod trafił do repozytorium na GitHubie na licencji Apache 2.0. Pozwala ona na komercyjne użycie i modyfikacje, pod warunkiem zachowania informacji o prawach autorskich. Jak pisze The Decoder, kod przyszłych modeli DeepSeek też ma być publikowany jako open source.
Do tej pory otwarte były głównie wagi i kod modeli. Tym razem firma ujawnia warstwę, która decyduje o tym, ile kosztuje i jak szybko działa obsługa zapytań. DeepInfer to oprogramowanie serwujące model V4.1-Flash w produkcyjnej skali. Sam DeepSeek opisuje je jako rozwiązanie zapewniające wysoką przepustowość i niskie opóźnienia. W dokumentacji Q&A firma pisze, że udostępnia „inference framework for large-scale cloud services”.
Co jest w środku
DeepInfer bazuje na vLLM, popularnym otwartym silniku do serwowania modeli językowych. DeepSeek dołożył do niego trzy rzeczy:
- zoptymalizowane kernele obliczeniowe,
- rozproszone przetwarzanie na wielu układach,
- szybsze techniki generowania tekstu.
Dokument o wdrażaniu inferencji, opublikowany w repozytorium, wymienia konkretnie rozproszone wnioskowanie, speculative decoding i mechanizm określany jako SWA bounded replay. Wspomina też o zgodności z układami Nvidii i Huawei Ascend. Dla firmy, która działa w cieniu amerykańskich ograniczeń eksportowych, to ważne: framework nie jest przypisany do jednego ekosystemu sprzętowego.
Na razie wsparcie jest wąskie. README wskazuje przede wszystkim model DeepSeek-V4.1-Flash, a domyślny checkpoint to deepseek-ai/DeepSeek-V4.1-Flash-1017. Dostępny jest też tryb offline inference.
Recipe dla samodzielnych wdrożeń
Razem z DeepInfer wyszło deepseek-recipe. Według The Decoder odtwarza ono sposób przetwarzania tokenów w oficjalnym API DeepSeek, żeby instalacje self-hosted zachowywały się tak samo jak usługa w chmurze. Z researchu wynika, że narzędzie mapuje zapytania z Chat Completions API, Responses API i Messages API do jednego formatu konwersacji. Ma to ułatwić zachowanie zgodności sposobu przetwarzania zapytań między oficjalnym API DeepSeek a samodzielnym wdrożeniem.
Presja na cenach
Modele DeepSeek i tak są bardzo tanie, a The Decoder ocenia, że DeepInfer domyka ostatnią lukę: pozwala uruchamiać je jeszcze taniej. Firma tłumaczy, że chce „to help the community lower compute costs, reduce energy use, and make AI more affordable”.
Publikacja zwiększa też presję cenową na zachodnich dostawców, takich jak OpenAI i Anthropic. The Decoder dodaje, że w kontekście rywalizacji Chin i USA ruch może mieć także polityczny wymiar. Jeśli zachodnie firmy AI nie osiągną planowanych wzrostów, to według autorów ryzyko dotyczyłoby gospodarki USA, a nie tylko samego sektora. To interpretacja serwisu, a nie deklaracja DeepSeek.
Realny wpływ będzie zależał od tego, jak dobrze DeepInfer sprawdzi się poza infrastrukturą samego DeepSeek. Dokumentacja skupia się na jednym modelu, a o oszczędnościach firma mówi na razie ogólnie, bez liczb.
