Koniec z pisaniem po słowie. Google DiffusionGemma wprowadza generowanie tekstu w blokach

Google Labs przełamuje paradygmat sekwencyjnego generowania tekstu, prezentując model DiffusionGemma. Zamiast budować zdania token po tokenie – niczym staromodna maszyna do pisania – nowy system wykorzystuje architekturę dyfuzyjną, znaną dotychczas głównie z generatorów obrazów. Wynik? Prędkość przekraczająca 1000 tokenów na sekundę na układach NVIDIA H100.

To ważny moment, ponieważ Google testuje realną alternatywę dla dotychczasowego sposobu działania AI. Zamiast ścigać się tylko na parametry i wielkość baz danych, gigant z Mountain View stawia na zmianę mechaniki. Wyścig o dominację w lokalnym AI przesuwa się z samej jakości odpowiedzi w stronę kompromisu między prędkością, kosztem a łatwością wdrożenia na własnym sprzęcie.

Rewolucja w architekturze: Od szumu do struktury

Tradycyjne duże modele językowe (LLM) działają autoregresyjnie: każdy kolejny element tekstu zależy od poprzedniego, co tworzy wąskie gardło obliczeniowe. DiffusionGemma obiera inną drogę. Jak informuje Google Blog: „Zamiast przewidywać słowa sekwencyjnie, model kreśli cały 256-tokenowy akapit jednocześnie”. Generowanie zaczyna się od płótna (canvas) wypełnionego losowymi tokenami zastępczymi, które w procesie iteracyjnej rafinacji układają się w logiczny ciąg.

Kluczową zaletą tego podejścia jest uwaga dwukierunkowa (bidirectional attention). W przeciwieństwie do standardowych modeli, które „nie widzą przyszłości”, DiffusionGemma analizuje zależności między wszystkimi tokenami w bloku jednocześnie podczas 15–20 przejść do przodu na jeden cykl. To sprawia, że narzędzie wykazuje unikalną sprawność w zadaniach, gdzie koniec odpowiedzi narzuca formę jej początku, takich jak uzupełnianie kodu źródłowego czy generowanie danych strukturalnych. W testach rozwiązywania Sudoku wyspecjalizowana wersja modelu osiągnęła 80% skuteczności, podczas gdy klasyczne podejście kończyło się całkowitym niepowodzeniem.

Wydajność kosztem jakości?

Choć wydajność na poziomie 1100 tokenów na sekundę (mierzona w formacie FP8) brzmi imponująco, Google nie ukrywa, że priorytetem była tutaj szybkość, a nie precyzja literacka. DiffusionGemma, będąca 26-miliardowym modelem typu MoE (Mixture of Experts), ustępuje pod względem jakości standardowym modelom Gemma 2. Jest to narzędzie specjalistyczne, a nie uniwersalny chatbot. Na domowych konfiguracjach, wyposażonych w karty RTX 5090, użytkownicy mogą liczyć na realny transfer rzędu 700 tokenów na sekundę, co wciąż deklasuje większość rozwiązań open-source.

Bariery wejścia: Oprogramowanie nie dogoniło sprzętu

Mimo udostępnienia wag modelu na licencji Apache 2.0, uruchomienie DiffusionGemma nie jest obecnie trywialne. Architektura ta wymaga specyficznego modułu „draftera” do poprawnego działania w ramach tzw. dekodowania spekulatywnego. Obecnie popularne środowiska, takie jak LM Studio czy biblioteka mlx-lm dla Apple Silicon, nie oferują natywnego wsparcia dla tego mechanizmu.

Pojawiły się również problemy konfiguracyjne w profesjonalnych ekosystemach. Przykładowo, domyślne ustawienia w NVIDIA NIM błędnie raportowały okno kontekstowe na poziomie 8 tysięcy tokenów. W rzeczywistości potencjał modelu sięga 256 tysięcy tokenów, jednak pełne wykorzystanie tej przestrzeni wymaga ręcznej rekonfiguracji i eksperckiej wiedzy technicznej.

Nowy rozdział w lokalnym AI

DiffusionGemma stanowi dowód na to, że granica między modelami wizualnymi a tekstowymi ulega zatarciu. Podczas gdy generatory obrazów zmierzają w stronę metod autoregresyjnych dla lepszej detali, tekst wykonuje zwrot w stronę dyfuzji dla ekstremalnej prędkości. Dla deweloperów budujących narzędzia w czasie rzeczywistym – systemy autouzupełniania czy edytory kodu – propozycja Google jest jasnym sygnałem: przyszłość lokalnego AI to generowanie równoległe, o ile tylko ekosystem oprogramowania zdoła nadążyć za innowacjami w architekturze.