Roboty z wyobraźnią: World Action Models nauczą się fizyki świata z amatorskich filmów

Koniec z mapowaniem pikseli na ślepo

Tradycyjne podejście do sterowania robotami opierało się na prostym modelu bodziec-reakcja: kamera rejestruje obraz, a sieć neuronowa decyduje o kolejnym ruchu. Choć metoda ta sprawdza się w kontrolowanych warunkach, brakuje jej fundamentalnego zrozumienia praw fizyki rządzących otoczeniem. Najnowszy przegląd systematyczny opracowany przez badaczy z Uniwersytetu Fudan oraz Narodowego Uniwersytetu Singapuru wskazuje na wyrastający nurt World Action Models (WAM). Te systemy nie tylko planują gest, ale przede wszystkim generują wewnętrzną symulację tego, jak zmieni się świat po ich interwencji.

Główną przewagą WAM-ów jest ich zdolność do nauki na podstawie nieopisanych nagrań wideo. Dotychczasowe modele Vision-Language-Action (VLA) wymagały precyzyjnych etykiet informujących o tym, jaka komenda wywołała dany ruch. W przypadku nagrań z perspektywy pierwszej osoby (tzw. materiał egocentryczny), których w sieci są miliony godzin, takie dane były dla robotyki bezużyteczne. Modele WAM zmieniają tę dynamikę, ucząc się przewidywać kolejną klatkę filmu, co buduje u nich intuicyjne zrozumienie przyczynowości.

Architektura przewidywania: kaskady i systemy zintegrowane

Analiza ponad stu prac badawczych pozwoliła wyodrębnić dwa główne nurty architektoniczne. Pierwszy z nich, określany jako kaskadowy (Cascaded WAMs), działa dwuetapowo. Przykładem jest system UniPi, który najpierw generuje wizualną reprezentację pożądanego stanu przyszłego, a następnie przekazuje ją do modułu wykonawczego, który „odkodowuje” z obrazu konkretne trajektorie ruchu. Inne podejścia, jak VPP czy LAPA, idą o krok dalej w stronę optymalizacji, operując na abstrakcyjnych, skompresowanych reprezentacjach zamiast renderować każdy piksel.

Drugą gałęzią są Joint WAMs, gdzie predykcja stanu świata i generowanie akcji odbywają się równolegle w ramach tego samego modelu. Systemy takie jak GR-1 czy Cosmos Policy od Nvidii traktują obraz i działanie jako spójną sekwencję tokenów. To drugie podejście obiecuje większą płynność, choć wciąż zmaga się z barierą wydajnościową. Obecnie najszybsze modele tego typu generują około siedmiu prognoz na sekundę, podczas gdy standardowe kontrolery przemysłowe wymagają częstotliwości rzędu 50 Hz.

Problem „ładnych obrazków” bez fizycznego sensu

Dziennikarskie i naukowe oko autorów raportu surowo ocenia obecne standardy testowania tych systemów. Okazuje się, że wysoka jakość wizualna wygenerowanego wideo wcale nie przekłada się na jego użyteczność w praktyce. Benchmarki takie jak „Wow, Where, Val!” obnażają brutalną prawdę: wiele modeli generuje filmy, które wyglądają fotorealistycznie, ale łamią podstawowe zasady mechaniki ciała sztywnego czy grawitacji. Roboty próbujące naśladować taką „halucynację” osiągają niemal zerową skuteczność.

Wyzwań jest więcej. Większość obecnych prac opiera się wyłącznie na danych wizualnych, ignorując bodźce dotykowe, kluczowe przy precyzyjnych operacjach manualnych. Niemniej jednak, kierunek wyznaczony przez World Action Models wydaje się najbardziej obiecującą drogą do stworzenia robotów zdolnych do pracy w nieustrukturyzowanym środowisku domowym. Możliwość „przetrenowania” maszyny na filmach z YouTube’a, zamiast kosztownych i rzadkich sesji teleoperacji, może być momentem zwrotnym dla całej branży robotycznej.

Przyszłość w abstrakcji

Eksperci wskazują, że kluczem do sukcesu może być rezygnacja z generowania obrazów, które cieszą oko człowieka. Inspiracją jest tu m.in. model V-JEPA od Meta, który udowodnił, że przewidywanie przyszłości w przestrzeni ukrytej (latent space) jest wystarczające, by system zrozumiał fizykę zdarzeń. To pozwala drastycznie obniżyć zapotrzebowanie na moc obliczeniową, co obecnie stanowi największe wąskie gardło w implementacji WAM-ów w czasie rzeczywistym.