Czy generatory wideo to brakujące ogniwo wizji komputerowej? DeepMind prezentuje projekt GenCeption

W świecie sztucznej inteligencji od dłuższego czasu trwa dyskusja nad tym, czy systemy generujące wideo to jedynie zaawansowane narzędzia do rozrywki, czy może fundamenty głębokiego rozumienia fizycznej rzeczywistości. Badacze z Google DeepMind postawili odważną tezę: modele wideo już teraz posiadają tzw. modele świata (world models), których od lat brakuje w klasycznej wizji komputerowej. Dowodem na tę synergię ma być GenCeption — innowacyjny system, który adaptuje otwartoźródłowy model wideo Wan2.1 od firmy Alibaba do wykonywania precyzyjnych zadań analitycznych, takich jak szacowanie głębi, segmentacja obiektów czy rozpoznawanie postawy 3D.

Dlaczego to ważne właśnie teraz? Ostatnie wyniki pokazują, że trenowanie modeli na gigantycznych, nieuregulowanych zbiorach danych z internetu powoli uderza w sufit. Projekt DeepMind udowadnia, że zamiast konkurować liczbą procesorów i petabajtami danych, można uzyskać lepsze efekty poprzez sprytne wykorzystanie syntetycznych środowisk. GenCeption łączy w sobie sześć kluczowych zadań wizyjnych (m.in. szacowanie odległości, segmentację i śledzenie obiektów w czasie), co sugeruje, że przyszłość AI nie należy do wąskich specjalistów, lecz do uniwersalnych modeli „widzących” świat w czterech wymiarach.

Od pikseli do zrozumienia geometrii

Tradycyjne podejście do wizji komputerowej opiera się na wysoce wyspecjalizowanych narzędziach. Mamy oddzielne architektury do wycinania obiektów z tła (np. Segment Anything) oraz inne do analizy odległości (np. Depth Anything). DeepMind sugeruje jednak, że proces tworzenia realistycznego wideo wymusza na sieci neuronowej przyswojenie wiedzy o geometrii sceny, ruchu i wzajemnych relacjach przestrzennych. Jak zauważyła Lina w swojej analizie wyników: „okrężny cel ‚generowania’ wysokiej jakości wideo zawierał całe zadanie ‚widzenia’”. GenCeption udowadnia to w praktyce, generując mapy głębi czy maski segmentacji w jednym przebiegu sieci, kierując się jedynie prostym promptem tekstowym.

Efektywność danych i uniwersalność

To, co wyróżnia GenCeption na tle konkurencji, to zdumiewająca oszczędność danych. Podczas gdy pokrewne systemy, takie jak D4RT czy VGGT Omega, trenowane są na milionach plików wideo, nowemu modelowi DeepMind wystarczyło zaledwie 7 500 syntetycznych nagrań wygenerowanych w programie Blender. Model osiąga poziom najlepszych rozwiązań geometrycznych przy użyciu od 7 do nawet 500 razy mniejszej liczby danych treningowych niż dotychczasowi liderzy.

Mimo tak wąskiego zakresu treningowego, system wykazuje niezwykłą zdolność do generalizacji (tzw. sim-to-real transfer). Choć uczył się głównie na cyfrowych modelach ludzi, bez trudu radzi sobie z analizą nagrań rzeczywistych, obejmujących zwierzęta czy roboty humanoidalne, zachowując przy tym detale takie jak kocie wąsy. Co więcej, w testach segmentacji obiektów GenCeption uzyskał wynik 75.8, deklasując wyspecjalizowany model SAM3, który osiągnął jedynie 41.3.

Krytyczne spojrzenie na granice technologii

Mimo sukcesów, badacze pozostają sceptyczni wobec pełnej uniwersalności generatywnych modeli świata. GenCeption, choć potrafi pracować z prędkością 13 klatek na sekundę przy rozdzielczości 480p (dla modelu 1.3B), wciąż wymaga optymalizacji przy bardziej złożonych zadaniach. Próba zintegrowania zbyt wielu funkcji w jednej architekturze czasem osłabia jej precyzję w specyficznych obszarach, takich jak punkty kluczowe 3D.

Pozostaje również kwestia sporu o istotę „modelu świata”. Postacie takie jak Yann LeCun z Meta twierdzą, że czyste generatory wideo to ślepa uliczka, ponieważ brakuje im sprzężenia zwrotnego z rzeczywistością i nie radzą sobie z podstawową logiką fizyczną. Jednak według Letiana Wanga z DeepMind, generowanie wideo jako technika uczenia wstępnego dostarcza „bogatych czasoprzestrzennych wzorców świata”, które pozwalają maszynom widzieć znacznie spójniej niż kiedykolwiek wcześniej.