DiffuSpace udostępnia model Clover-35B-A3B. Dyfuzja wkracza do kodowania i zadań agentowych

Niemal wszystkie powszechnie stosowane duże modele językowe działają autoregresyjnie: przewidują kolejny token na podstawie poprzednich. Zespół DiffuSpace postanowił pójść pod prąd dominującemu trendowi i udostępnił na licencji open source model Clover-35B-A3B-Preview. To dyfuzyjny model językowy (dLLM), zaprojektowany bezpośrednio do pisania kodu, obsługi narzędzi i pracy w środowiskach agentowych.

Dyfuzyjne modele językowe nie muszą generować tekstu token po tokenie. Zamiast tego modyfikują wiele pozycji jednocześnie w kolejnych krokach odszumiania, stopniowo przekształcając losowy szum lub zamaskowaną treść w spójną odpowiedź. Podejście to daje nadzieję na szybsze generowanie odpowiedzi. W zadaniach wieloetapowych modele dyfuzyjne miewały poważne problemy ze stabilnością – generowały błędnie sformatowane wywołania API i wpadały w zapętlenia.

Clover wykorzystuje technikę dyfuzji blokowej (block diffusion). W tym podejściu tekst dzielony jest na bloki – w tym przypadku po 32 tokeny – które powstają sekwencyjnie, ale zawartość każdego bloku jest odszumiana równolegle. W dokumentacji w repozytorium GitHub autorzy wyjaśniają, że bazą konstrukcji jest model Qwen3.6-35B-A3B. Zastosowano hybrydową architekturę mieszanki ekspertów (MoE) opartą na szkielecie Gated DeltaNet, wyposażoną w 40 warstw oraz 256 ekspertów (z których 8 jest aktywnych na dany token). Całość liczy niemal 35 miliardów parametrów, lecz przy każdym tokenie aktywnych pozostaje zaledwie około 3 miliardów. Model obsługuje okno kontekstu o długości 128 tysięcy tokenów.

Kluczowym atutem ma być tempo pracy. Z danych DiffuSpace wynika, że Clover na pojedynczym akceleratorze Nvidia H200 osiąga w zadaniach agentowych przepustowość 515 tokenów na sekundę, podczas gdy na układzie GB300 prędkość sięga 680 tokenów na sekundę w precyzji BF16. Jak podaje Pandaily, według danych DiffuSpace mediana czasu wykonania w teście przeglądarkowym obejmującym 49 zadań wyniosła 1,52 sekundy.

DiffuSpace opublikowało również deklarowane wyniki w popularnych testach porównawczych. Model uzyskał 73,6 punktu w benchmarku SWE-bench Verified oraz 51,7 w Terminal-Bench 2.1. Z kolei w testach korzystania z zewnętrznych narzędzi odnotował 65,3 punktu w tau-cubed i 67,9 w BFCL-v4. Twórcy podkreślają, że rezultaty te przewyższają klasyczne modele autoregresyjne o zbliżonej liczbie aktywnych parametrów. Należy jednak pamiętać, że wszystkie te liczby pochodzą wyłącznie z wewnętrznych pomiarów autorów i wymagają niezależnej weryfikacji ze strony społeczności.

Wagi modelu opublikowano m.in. w serwisach GitHub i Hugging Face na liberalnej licencji Apache 2.0, a zespół przygotował też warianty skwantyzowane w formacie GGUF. Status „Preview” oznacza, że projekt jest wciąż na wczesnym etapie, jednak pokazuje rosnące zainteresowanie alternatywnymi architekturami, w których liczy się nie tylko czysta jakość odpowiedzi, ale też minimalne opóźnienie w środowiskach, gdzie operują autonomiczni agenci AI.

Źródło: pandaily.com