WorldGuide generuje wideo krok po kroku i ocenia własne postępy
Badacze z Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) zaprezentowali WorldGuide — model generujący materiały wideo, które przedstawiają wieloetapowe czynności, takie jak montaż mebli, gotowanie czy składanie origami. Zamiast tworzyć całe nagranie naraz, system zamyka pętlę decyzyjną: po wygenerowaniu krótkiego klipu analizuje uzyskany obraz i na tej podstawie wybiera kolejny krok lub uznaje zadanie za zakończone.
Procedura rozpoczyna się od obrazu początkowego oraz zdefiniowanego celu. Na ich podstawie moduł planowania wskazuje pierwsze działanie, generator tworzy odpowiadający mu fragment wideo, a wynik wizualny staje się punktem wyjścia do wyznaczenia następnego etapu. Z danych opublikowanych przez twórców wynika, że praca w takiej zamkniętej pętli zwiększyła skuteczność generowania poprawnych procedur o 21,62 punktu procentowego w porównaniu z podejściem otwartym, w którym kolejne kroki planowano bez weryfikacji wcześniejszych klatek.
Wraz z modelem zespół udostępnił benchmark WorldGuide Bench, służący do sprawdzania, jak systemy wideo radzą sobie z sekwencjami proceduralnymi. Zbiór obejmuje około 59 tys. nagrań dotyczących 245 zadań w 27 kategoriach. Materiały podzielono na klipy pojedynczych czynności i oznaczono w nich momenty ukończenia poszczególnych etapów.
W testach na tym zbiorze WorldGuide uzyskał 33,33 proc. skuteczności w realizacji zadań. Dla porównania model MiniMax-H3 osiągnął 29,90 proc., przy czym w trakcie próby korzystał z gotowych, referencyjnych planów działań. Wyniki obu systemów pokazują, że poprawne generowanie długich, wieloetapowych sekwencji pozostaje dla modeli wideo dużym wyzwaniem.
Autorzy projektu wskazują, że WorldGuide wciąż popełnia błędy zarówno podczas wizualnego wykonywania poszczególnych czynności, jak i przy rozpoznawaniu momentu, w którym całe zadanie zostało zakończone. Osiągnięte rezultaty dotyczą wyłącznie generowania obrazu i nie oznaczają zdolności systemu do fizycznego wykonywania prezentowanych prac w świecie rzeczywistym.
