Koniec z amnezją generatorów wideo. Projekt Mirage wprowadza trwałą pamięć przestrzenną

Największą bolączką współczesnych modeli wideo nie jest brak realizmu, lecz brak ciągłości. Gdy wirtualna kamera wykonuje gwałtowny obrót, meble zmieniają swoje położenie, a ściany, które widzieliśmy chwilę temu, po powrocie w to samo miejsce wyglądają zupełnie inaczej. Ten brak trwałej struktury przestrzennej sprawia, że większość generacji to jedynie efektowne, ale ulotne klipy. Zespół badaczy z Microsoft Research zaprezentował jednak rozwiązanie o nazwie Mirage, które ma szansę na stałe zmienić sposób, w jaki sztuczna inteligencja zapamiętuje trójwymiarowe otoczenie.

Dlaczego to ważne akurat teraz? Branża AI odchodzi od prostego generowania klatek na rzecz tzw. world models (modeli świata), które mają rozumieć fizykę i przestrzeń. Mirage wygrywa ten wyścig pod względem czystej wydajności i spójności, co udowadniają testy na benchmarku WorldScore. Zamiast tworzyć izolowane fragmenty filmu, system buduje stabilną strukturę, która nie rozpada się przy gwałtownych ruchach kamery.

Problem podwójnego wąskiego gardła

Dotychczasowe próby nadania modelom AI „pamięci” opierały się na systemach takich jak Voyager czy Spatia, które korzystają z chmur punktów 3D zasilanych danymi o kolorach pikseli. Microsoft określa to podejście mianem podwójnego wąskiego gardła. Każdy krok generacji wymaga renderowania chmury punktów i ponownego tłumaczenia jej na wewnętrzny język modelu, co pożera zasoby i niszczy detale. Jak zauważają eksperci z DailyPapers, Mirage rezygnuje z tego kosztownego cyklu: „latent spatial memory stores 3D scenes directly as latent tokens, skipping the costly RGB render-and-reencode loop”.

Efektywność idąca w parze z precyzją

Inżynierowie oparli Mirage na otwartoźródłowym modelu Wan2.1 od Alibaba, wzbogacając go o dedykowany moduł i adaptery LoRA. Wyniki robią wrażenie. Dzięki temu, że dane trafiają do pamięci w skompresowanej formie, a nie jako pełnowymiarowe obrazy, zapotrzebowanie na pamięć VRAM spadło 55-krotnie w porównaniu do metod bazujących na pikselach. Co więcej, Mirage generuje wideo nawet 10,57 raza szybciej niż dotychczasowe rozwiązania. W praktyce oznacza to, że AI potrafi utrzymać stałość powierzchni nawet podczas długich, skomplikowanych ujęć, gdzie standardowe generatory dawno straciłyby orientację.

Filtrowanie rzeczywistości

System nie zapisuje wszystkiego bezmyślnie. Aby uniknąć błędów, Mirage stosuje filtry, które przed zapisaniem danych do pamięci długotrwałej odrzucają obiekty ruchome oraz niebo. Ma to na celu utrwalenie wyłącznie stabilnej geometrii otoczenia. Twórcy przyznają, że to kompromis – na ten moment obiekty dynamiczne mogą znikać przy granicach segmentów wideo. To czyni model idealnym do eksploracji budynków, ale wciąż wymagającym dopracowania w scenach z tłumem ludzi.

Podczas gdy Google DeepMind rozwija model Genie 3 do tworzenia interaktywnych środowisk, Microsoft stawia na architekturę, która pozwoli tym światom trwać i nie zmieniać się pod naszą nieobecność. To fundament dla gier i symulacji tworzonych bez udziału armii grafików 3D.