Nvidia wchodzi w erę ultra-szybkiej inferencji. Groq 3 LPX obiecuje nowe otwarcie dla agentów AI
Nvidia nie chce już tylko trenować modele; teraz zamierza przejąć kontrolę nad tym, jak szybko one z nami rozmawiają. Gigant oficjalnie wprowadził do produkcji swój najnowszy akcelerator inferencji, Groq 3 LPX, pozycjonując go jako brakujące ogniwo platformy Vera Rubin. Urządzenie, które Nvidia nazywa interaktywnym akceleratorem inferencji AI, ma rozwiązać największy problem systemów agentowych: zbyt długi czas oczekiwania na odpowiedź podczas wieloetapowego rozumowania.
To wdrożenie to finał głośnego przejęcia licencji Groq za blisko 20 miliardów dolarów. Dzięki tej transakcji do zespołu dołączyli Jonathan Ross i Sunny Madra, a Nvidia zyskała dostęp do technologii LPU (Language Processing Unit), która drastycznie różni się od standardowych procesorów graficznych. Zamiast ogromnej pamięci HBM, postawiono tu na ekstremalnie szybki SRAM, co pozwala na błyskawiczne generowanie tekstu w czasie rzeczywistym.
Rekordowa szybkość i matematyka w cieniu szaf serwerowych
Głównym atutem Groq 3 LPX jest surowa, wręcz brutalna wydajność. W testach przeprowadzonych przez Artificial Analysis na modelu Gemma 4 31B, system osiągnął wynik 3400 tokenów na sekundę przy oknie kontekstowym wynoszącym 100 tysięcy jednostek. Nvidia z dumą ogłosiła, że ich rozwiązanie jest cztery razy szybsze niż układy Cerebras, które notują około 882 tokeny na sekundę. W teorii oznacza to, że złożone zadania programistyczne, które dziś zajmują godziny, skurczą się do kilku minut.
Jednak branżowi eksperci, w tym analitycy serwisu The Register, tonują nastroje, wskazując na ukryte koszty tej prędkości. Problem leży w architekturze. Podczas gdy konkurencja obsługuje modele na jednym lub dwóch chipach, Nvidia do uzyskania rekordu potrzebuje całej szafy serwerowej. Pojedynczy moduł Groq 3 LPX posiada zaledwie 500 MB pamięci SRAM — to ponad 500 razy mniej niż standardowe GPU Rubin wyposażone w 288 GB pamięci HBM. Aby pomieścić nowoczesny model, trzeba połączyć ze sobą dziesiątki, a nawet setki takich jednostek.
Wyzwania skalowalności i rynkowa weryfikacja
Podejście Nvidii jest hybrydowe. Tradycyjne procesory graficzne obsługują fazę „prefill”, czyli wczytywanie danych, a jednostki LPU zajmują się „decode”, czyli generowaniem tokenów. Taki podział ról sprawdza się świetnie przy średnich modelach, które mieszczą się w jednej szafie serwerowej zawierającej do 256 jednostek LP30/LPU. Schody zaczynają się przy gigantach typu Mixture-of-Experts. Obsługa modelu DeepSeek V3 wymagałaby zaangażowania aż 1342 akceleratorów, co przekłada się na ponad pięć pełnych szaf serwerowych.
Mimo tych wątpliwości, rynek nie zamierza czekać. Firma Nebius już ogłosiła, że jako pierwszy dostawca chmurowy udostępni moc Groq 3 LPX w ramach swojej usługi Token Factory. To tam zapadnie ostateczny werdykt, czy obietnica „interaktywnego akceleratora” jest warta swojej ceny, czy pozostanie jedynie pokazem siły w benchmarkach, który trudno przełożyć na zyskowny biznes.
