Radial Attention: Przełomowa metoda generowania długich wideo dzięki zrozumieniu rozkładu uwagi w modelach dyfuzyjnych

Modele dyfuzyjne zrewolucjonizowały syntezę obrazów, a ostatnio także generowanie wideo, dostarczając niezwykle spójne i realistyczne rezultaty. Niemniej jednak, dodanie wymiaru czasowego do trójwymiarowych danych sprawia, że proces ten staje się znacznie bardziej wymagający obliczeniowo. Głównym wyzwaniem jest mechanizm samo-uwagi (self-attention), który charakteryzuje się niekorzystną skalowalnością wraz ze wzrostem długości sekwencji. To właśnie z tego powodu szkolenie oraz efektywne uruchamianie modeli dyfuzyjnych dla dłuższych filmów pozostaje kosztowne i problematyczne. Dotychczasowe próby obejmowały między innymi wdrożenie rzadkich mechanizmów uwagi czy alternatywnych rozwiązań opartych na liniowych transformacjach, jednak często wiązało się to z kompromisami w zakresie dokładności, generalizacji lub wymagało znaczących zmian w architekturze modeli.

Inspiracja w fizyce i „energii” sygnału

Paradoksalnie, rozwiązanie tych wyzwań przyszło z zupełnie nieoczekiwanego kierunku – obserwacji zjawiska naturalnego rozpadu energii sygnałów. Zespół badawczy, złożony z naukowców z MIT, NVIDII, Princeton, UC Berkeley, Stanford oraz First Intelligence, zidentyfikował w modelach dyfuzyjnych zjawisko nazwane Spatiotemporal Energy Decay. Polega ono na tym, że wyniki uwagi (attention scores) między tokenami maleją wraz ze wzrostem odległości przestrzennej lub czasowej. W praktyce oznacza to, że model przywiązuje znacznie większą wagę do najbliższego otoczenia danego punktu w czasie i przestrzeni, a jego „zainteresowanie” maleje proporcjonalnie do odległości. To zjawisko przypomina naturalne zanikanie sygnałów, jak chociażby fal na wodzie czy rozbiegających się dźwięków.

Radial Attention: Efektywność bez kompromisów

Na podstawie tych obserwacji naukowcy opracowali Radial Attention – mechanizm rzadkiej uwagi o złożoności obliczeniowej O(n log n). Sercem rozwiązania jest statyczna maska uwagi, która ogranicza interakcje tokenów głównie do ich bliskiego sąsiedztwa, a okno uwagi kurczy się w czasie. Efekt? Modele wstępnie wytrenowane są w stanie generować filmy nawet czterokrotnie dłuższe, przy redukcji kosztów treningu o 4.4 raza i czasu wnioskowania (inference) o 3.7 raza. Co najważniejsze, osiągnięto to bez jakichkolwiek widocznych strat w jakości generowanego obrazu.

Zastosowanie zasad rozkładu energii

Implementacja Spatiotemporal Energy Decay w Radial Attention to klucz do jej efektywności. Zamiast równomiernie rozkładać uwagę na wszystkie tokeny, Radial Attention strategicznie redukuje obliczenia tam, gdzie uwaga jest słabsza. Wprowadzono maskę uwagi, która zanika wykładniczo w przestrzeni i czasie, zachowując jedynie najbardziej istotne interakcje. To rozwiązanie pozwoliło na drastyczne przyspieszenie procesów obliczeniowych, czyniąc tę metodę znacznie bardziej wydajną w porównaniu do standardowej gęstej uwagi. Co więcej, dzięki minimalnemu dostrojeniu za pomocą adapterów LoRA, wstępnie wytrenowane modele mogą być efektywnie adaptowane do generowania znacznie dłuższych materiałów wideo, co dodatkowo obniża bariery wejścia dla deweloperów.

Wyniki imponują na wielu płaszczyznach

Skuteczność Radial Attention została potwierdzona w testach na trzech wiodących modelach dyfuzyjnych tekst-do-wideo: Mochi 1, HunyuanVideo i Wan2.1. W porównaniu do innych rzadkich rozwiązań, takich jak SVG czy PowerAttention, Radial Attention wykazuje lepszą jakość percepcyjną oraz znacznie większe korzyści obliczeniowe – do 3.7 razy szybsze wnioskowanie i 4.4 raza niższe koszty treningu dla dłuższych filmów. Technologia ta skaluje się efektywnie do generowania materiałów czterokrotnie dłuższych, zachowując przy tym pełną kompatybilność z istniejącymi adapterami LoRA. Co warte podkreślenia, w niektórych przypadkach, dostrajanie LoRA przy użyciu Radial Attention przewyższało wydajność pełnego dostrajania, co potwierdza jej efektywność i oszczędność zasobów w kontekście generowania wysokiej jakości długich filmów.

Radial Attention stanowi znaczący krok naprzód w dziedzinie generowania wideo przez modele dyfuzyjne. Wykorzystując fundamentalne zasady rozkładu uwagi oparte na zjawisku Spatiotemporal Energy Decay, naukowcy stworzyli rozwiązanie, które nie tylko zwiększa długość generowanych sekwencji filmowych, ale także znacząco obniża związane z tym koszty operacyjne, otwierając nowe możliwości przed twórcami treści i badaczami AI.