Lightricks rzuca wyzwanie gigantom. Otwarty model LTX-2 integruje wideo i dźwięk, deklasując konkurencję prędkością

W sektorze generatywnej sztucznej inteligencji, zdominowanym przez hermetyczne systemy OpenAI (Sora) czy Google (Veo), Lightricks decyduje się na radykalne otwarcie. Izraelska firma udostępniła kod źródłowy i wagi modelu LTX-2, który na papierze przewyższa obecne standardy rynkowe, oferując generowanie do 20 sekund wideo wraz z w pełni zsynchronizowanym dźwiękiem stereo – od mowy z lip-syncem po efekty tła.

Koniec z oddzielnym torem audio

Inżynierowie z Lightricks punktują fundamentalną wadę dotychczasowych rozwiązań: sekwencyjność. Większość systemów najpierw tworzy obraz, a dopiero potem „dokleja” dźwięk (lub odwrotnie). Takie rozdzielenie procesów sprawia, że korelacja między tym, co widzimy, a tym, co słyszymy, jest często powierzchowna. LTX-2 podchodzi do problemu holistycznie, traktując wizję i audycję jako nierozerwalny strumień danych.

Architektura modelu opiera się na asymetrycznym transformerze dwustrumieniowym o łącznej liczbie 19 miliardów parametrów. Podział zasobów jest tu kluczowy: 14 miliardów parametrów przypada na strumień wideo, a 5 miliardów na audio. Badacze argumentują, że taka dysproporcja odzwierciedla różnicę w gęstości informacji obu mediów. Dzięki zastosowaniu dwukierunkowych warstw cross-attention, model jest w stanie precyzyjnie powiązać zdarzenia wizualne – jak uderzenie obiektu o ziemię – z odpowiednim efektem dźwiękowym w tym samym czasie.

Wydajność w starciu z gigantami

Według raportu technicznego, LTX-2 deklasuje konkurencję pod względem szybkości inferencji. Na układzie Nvidia H100 wygenerowanie jednego kroku dla 121 klatek w rozdzielczości 720p zajmuje systemowi 1,22 sekundy. Dla porównania, model Wan2.2-14B od Alibaby potrzebuje na to samo zadanie aż 22,30 sekundy, nie generując przy tym dźwięku. Lightricks chwali się więc 18-krotnym wzrostem wydajności.

Imponująco wygląda również długość generowanych materiałów. 20-sekundowe klipy z LTX-2 przebijają możliwości Google Veo 3 (12 sekund), OpenAI Sora 2 (16 sekund) oraz otwartoźródłowego Ovi (10 sekund). Model ma radzić sobie z rozdzielczością 4K przy 50 klatkach na sekundę, wykorzystując do zrozumienia tekstu wielojęzyczny enkoder Gemma3-12B, wspierany przez tzw. „thinking tokens” – dodatkową przestrzeń obliczeniową na przetworzenie skomplikowanych promptów przed rozpoczęciem generowania.

Manifest przeciwko „outsourcingowi kreatywności”

Decyzja o upublicznieniu modelu (open-source) jest, według założyciela Lightricks, Zeeva Farbmana, bezpośrednią krytyką obecnego stanu rynku. Farbman argumentuje, że zamknięte API, choć oferują imponujące rezultaty, odbierają twórcom kontrolę, która jest niezbędna w profesjonalnych zastosowaniach. Branża utknęła w martwym punkcie: technologia zachwyca, ale brak możliwości jej precyzyjnego dostrojenia na własnym sprzęcie czyni ją bezużyteczną dla wielu profesjonalistów.

„Sztuczna inteligencja może rozszerzać ludzką kreatywność i inteligencję. Martwi mnie jednak wizja, w której ktoś inny jest właścicielem mojego rozszerzenia” – stwierdza Farbman. Uwolnienie LTX-2, wraz z adapterami LoRA i frameworkiem treningowym, ma umożliwić społeczności podejmowanie własnych decyzji etycznych i technicznych, zamiast polegania na interesach wąskiej grupy korporacji.

Nie bez wad

Mimo wyśrubowanych parametrów, twórcy uczciwie przyznają w dokumentacji, że system nie jest idealny. Synteza mowy bywa problematyczna w przypadku rzadszych języków i dialektów. W scenach z wieloma postaciami modelowi zdarza się przypisać wypowiedzi niewłaściwym osobom. Również przy sekwencjach przekraczających 20 sekund zauważalny jest tzw. dryf czasowy i degradacja synchronizacji. Mimo to, w badaniach preferencji użytkowników, LTX-2 wypada porównywalnie do zamkniętych liderów rynku, a model zoptymalizowany pod ekosystem Nvidia RTX (w tym konsumenckie karty jak RTX 5090) jest już dostępny na platformach GitHub i Hugging Face.