Video-Coder zaprzęga kod do wideo. Zamiast pikseli agent najpierw buduje scenę 3D
Generowanie wideo przez modele dyfuzyjne zachwyca warstwą wizualną, jednak próby zmuszenia ich do poprawnego odwzorowania praw fizyki wyłącznie na podstawie pikseli wciąż kończą się deformacjami obiektów i chaotycznym ruchem. Zespół badawczy z udziałem naukowców z m.in. University of Central Florida, University of Würzburg, Microsoft Research, Tsinghua, UNC-Chapel Hill oraz UW-Madison postanowił rozwiązać ten problem od innej strony.
W pracy naukowej opisującej projekt Video-Coder zaprezentowano agenta AI, który nie rysuje klatek bezpośrednio, lecz pisze i wykonuje kod w Pythonie dla Blendera. W ten sposób powstaje dynamiczna, trójwymiarowa makieta sceny („Draft Video”). Wyrenderowany szkic dostarcza sygnałów struktury i ruchu do docelowego generatora wideo.
Dwuetapowy trening i środowisko wykonawcze
Sercem rozwiązania jest środowisko nazwane Video-Coder Harness. Łączy ono wykonywanie kodu, rendering 3D i natychmiastowe zwracanie błędów w jednej pętli interaktywnej. Do wytrenowania systemu przygotowano dwa zbiory danych: Video-Coder-SFT-6k oraz Video-Coder-RL-2k, przy których tworzeniu wykorzystano model Gemini 3.8 Flash zintegrowany ze wspomnianym środowiskiem.
Trening podzielono na dwa etapy. Najpierw przeprowadzono nadzorowane dostrajanie (SFT), które uczy agenta tworzenia i animowania obiektów trójwymiarowych. Następnie zastosowano uczenie przez wzmacnianie z podwójną nagrodą (dual reward feedback) – system ocenia jednocześnie, czy wygenerowany program uruchomił się bezbłędnie, oraz jaka jest jakość końcowego wideo. Zastosowano przy tym strategię stopniowego wygaszania (annealing), która z czasem zmniejsza wagę nagrody za samo poprawne wykonanie kodu na rzecz jakości wyrenderowanego materiału.
Większa kontrola nad ruchem i fizyką
Eksperymenty przeprowadzone na bazie generatora MiniMax-H3 wykazały wyraźną poprawę parametrów. Po dodaniu sterowania z Video-Coder wyniki MiniMax-H3 wzrosły o około 7 punktów w benchmarku PhyGenBench, mierzącym poprawność symulacji zjawisk fizycznych, oraz o 24 punkty w teście spójności VBench-2.0. W wariancie bazującym na modelu Video-Coder-9B połączonym z MiniMax-H3 średni wskaźnik wiarygodności fizycznej osiągnął 78,19%, przewyższając konkurencyjny model CogVideoX-1.5 (77,04%).
Jak zwraca uwagę serwis AI Weekly, abstrakt pracy podaje uśrednione wyniki dla jednego modelu bazowego, bez omówienia błędów dla poszczególnych poleceń czy porównań z innymi generatorami wideo. Cały ekosystem projektu – w tym kod w repozytorium GitHub, wagi modeli oraz zbiory treningowe – został w pełni udostępniony na zasadach open source.
