OmnimatteZero: Rewolucja w edycji wideo bez treningu AI

Zespół naukowców z Uniwersytetu Bar-Ilan w Izraelu zaprezentował innowacyjne narzędzie do edycji wideo – OmnimatteZero. To pierwsze tego typu rozwiązanie, które umożliwia separację obiektów od tła oraz zaawansowane manipulacje obrazem w czasie rzeczywistym, bez konieczności żmudnego i kosztownego trenowania modeli sztucznej inteligencji.

Szybkość i efektywność w centrum uwagi

Kluczową zaletą OmnimatteZero jest jego szybkość. Jak podkreślają twórcy, narzędzie jest w stanie przetwarzać wideo z prędkością 0.04 sekundy na klatkę (przy użyciu karty graficznej A100). To przełom, biorąc pod uwagę, że dotychczasowe metody wymagały albo ogromnych zbiorów danych do trenowania, albo skomplikowanych i czasochłonnych procesów optymalizacji.

Dr Dvir Samuel, który kierował pracami badawczymi, wyjaśnia, że tradycyjne systemy do separacji warstw wideo potrzebowały milionów przykładów, ogromnej mocy obliczeniowej i energii, aby w ogóle móc wyodrębnić obiekt ze sceny i usunąć go w naturalny sposób. OmnimatteZero eliminuje te ograniczenia, oferując użytkownikom natychmiastowe rezultaty.

Jak to działa? Kompostowanie wizualne

OmnimatteZero wykorzystuje istniejące, ogólnodostępne modele generowania wideo i adaptuje je do zadania separacji warstw. Działa to na zasadzie „kompostowania wizualnego” – elementy z jednego wideo mogą być wyodrębniane i bezproblemowo integrowane z innym, zachowując spójność wizualną, takie jak odbicia, cienie i ruch.

Wyobraźmy sobie łabędzia pływającego po jeziorze. OmnimatteZero pozwala na wyodrębnienie łabędzia wraz z jego odbiciem w wodzie i umieszczenie go w zupełnie innym zbiorniku wodnym. Jednocześnie, jezioro, z którego usunięto łabędzia, może posłużyć jako tło dla innego wideo, z zachowaniem realistycznych efektów.

Samoucząca się uwaga kluczem do sukcesu

Sekretem efektywności OmnimatteZero jest mechanizm „self-attention”, który automatycznie identyfikuje i łączy ze sobą powiązane obszary w obrębie klatek wideo. Dzięki temu system rozpoznaje obiekty i ich efekty bez konieczności uczenia się na ogromnych zbiorach danych.

Przyszłość edycji wideo?

Twórcy OmnimatteZero wierzą, że ich narzędzie ma potencjał, by zrewolucjonizować sposób, w jaki edytujemy wideo. Otwiera ono nowe możliwości dla twórców treści, specjalistów od efektów wizualnych, reklamodawców i badaczy AI. Co więcej, jego stosunkowo niskie wymagania sprzętowe sugerują, że w przyszłości może ono stać się dostępne dla każdego, nawet do edycji wideo nagrywanych smartfonami.

Obecnie kilka zespołów uniwersyteckich na całym świecie pracuje nad ulepszeniem OmnimatteZero. Dr Samuel planuje skupić się na synchronizacji dźwięku, tak aby usunięcie obiektu z wideo automatycznie eliminowało powiązane z nim odgłosy.

Projekt OmnimatteZero jest wynikiem współpracy naukowców z Uniwersytetu Hebrajskiego i OriginAI Research Center w Izraelu.