NVIDIA DiffusionRenderer: Przełom w edycji fotorealistycznych scen 3D z pojedynczego wideo

Branża generatywnej sztucznej inteligencji, w szczególności wideo, odnotowała w ostatnich latach imponujący rozwój. Od zniekształconych, niezrozumiałych klipów przeszliśmy do materiałów wideo o zaskakującej wręcz szczegółowości i realizmie. Jednakże, pomimo tego postępu, kluczowa funkcjonalność pozostawała poza zasięgiem: kontrola i edycja. Możliwość realistycznego modyfikowania wygenerowanego nagrania – zmiany oświetlenia z dnia na noc, zamiany materiału obiektu z drewna na metal, czy płynnego wstawiania nowego elementu do sceny – pozostawała trudnym, w dużej mierze nierozwiązanym problemem.

Tę lukę wypełnia teraz DiffusionRenderer, zaprezentowany w nowym, przełomowym artykule wspólnym zespołów badawczych z NVIDIA, University of Toronto, Vector Institute oraz University of Illinois Urbana-Champaign. DiffusionRenderer to krok naprzód, który wychodzi poza prostą generację, oferując zunifikowane rozwiązanie do rozumienia i manipulowania scenami 3D na podstawie pojedynczego wideo. Skutecznie, acz nie bez konsekwencji, niweluje przepaść między generacją a edycją, odblokowując prawdziwy potencjał twórczy treści napędzanych AI.

Od PBR do AI: nowa era fotorealizmu

Przez dziesięciolecia fotorealizm opierał się na PBR (Physical Based Rendering), metodologii skrupulatnie symulującej przepływ światła. Choć PBR pozwala uzyskiwać oszałamiające rezultaty, jest systemem delikatnym. Wymaga bowiem precyzyjnego cyfrowego 'planu’ sceny – dokładnej geometrii 3D, szczegółowych tekstur materiałów i precyzyjnych map oświetlenia. Proces pozyskiwania tego 'planu’ ze świata rzeczywistego, znany jako renderowanie odwrotne, jest niezwykle trudny i podatny na błędy. Nawet niewielkie niedoskonałości w danych mogły prowadzić do katastrofalnych błędów w końcowym renderze, co stanowiło kluczowe ograniczenie PBR poza kontrolowanymi środowiskami studyjnymi.

Wcześniejsze techniki renderowania neuronowego, takie jak NeRF-y (Neural Radiance Fields), choć rewolucyjne w tworzeniu statycznych widoków, napotykały trudności w kwestii edycji. W nich oświetlenie i materiały były „wypiekane” w scenę, co sprawiało, że modyfikacje po wygenerowaniu były praktycznie niemożliwe. DiffusionRenderer inaczej podchodzi do problemu, łącząc „co” (właściwości sceny) i „jak” (proces renderowania) w jednym zunifikowanym frameworku, zbudowanym na tej samej potężnej architekturze dyfuzji wideo, która leży u podstaw modeli takich jak Stable Video Diffusion. Metoda ta wykorzystuje dwa renderery neuronowe do przetwarzania wideo:

• Neuronowy Renderer Odwrotny (Neural Inverse Renderer): Działa niczym detektyw sceny. Analizuje wejściowe wideo RGB i inteligentnie szacuje wewnętrzne właściwości, generując niezbędne bufory danych (G-bufory), które opisują geometrię (wektory normalne, głębia) i materiały (kolor, szorstkość, metaliczność) sceny na poziomie pikseli. Każdy atrybut jest generowany w dedykowanym przebiegu, aby umożliwić wysokiej jakości generację.
• Neuronowy Renderer Prosty (Neural Forward Renderer): Pełni rolę artysty. Przyjmuje G-bufory z renderera odwrotnego, łączy je z dowolnym pożądanym oświetleniem (mapa środowiskowa) i syntetyzuje fotorealistyczne wideo. Został wytrenowany tak, by był odporny, zdolny do realistycznego wytwarzania skomplikowanych efektów transportu światła, takich jak miękkie cienie i wzajemne odbicia, nawet gdy wejściowe G-bufory z renderera odwrotnego są niedoskonałe.

Ta samokorygująca się synergia stanowi rdzeń przełomu. System został zaprojektowany z myślą o niedoskonałościach świata rzeczywistego, gdzie o perfekcyjnych danych można jedynie pomarzyć.

Dane jako klucz do sukcesu: mostkowanie luki między symulacją a rzeczywistością

Nawet najbardziej zaawansowany model musi być karmiony inteligentnymi danymi. Badacze stojący za DiffusionRenderer opracowali sprytną, dwutorową strategię danych, aby nauczyć swój model niuansów zarówno perfekcyjnej fizyki, jak i niedoskonałej rzeczywistości.

1. Masowy, syntetyczny wszechświat: Stworzono ogromny, wysokiej jakości syntetyczny dataset składający się ze 150 000 filmów. Wykorzystując tysiące obiektów 3D, materiały PBR i mapy HDR, stworzono złożone sceny i renderowano je za pomocą perfekcyjnego silnika śledzenia ścieżek. To zapewniło modelowi odwrotnego renderowania doskonały „podręcznik” do nauki, dostarczając mu idealne dane wyjściowe.
2. Automatyczne etykietowanie świata rzeczywistego: Zespół odkrył, że renderer odwrotny, wytrenowany wyłącznie na danych syntetycznych, był zaskakująco dobry w generalizowaniu do rzeczywistych filmów. Został on zastosowany na ogromnym zbiorze 10 510 prawdziwych filmów (DL3DV10k). Model automatycznie wygenerował etykiety G-buforów dla tego materiału. Stworzyło to kolosalny, 150 000-próbkowy zestaw danych z prawdziwych scen z odpowiadającymi – choć niedoskonałymi – mapami właściwości wewnętrznych.

Przez wspólne trenowanie renderera prostego zarówno na perfekcyjnych danych syntetycznych, jak i automatycznie etykietowanych danych rzeczywistych, model nauczył się niwelować krytyczną „lukę domenową”. Poznał zasady ze świata syntetycznego i wygląd oraz zachowanie świata rzeczywistego. Aby poradzić sobie z nieuniknionymi niedokładnościami w automatycznie etykietowanych danych, zespół włączył moduł LoRA (Low-Rank Adaptation), sprytną technikę, która pozwala modelowi dostosować się do bardziej „zaszumionych” danych rzeczywistych bez kompromitowania wiedzy zdobytej z nieskazitelnego zbioru syntetycznego.

Potężne możliwości edycyjne DiffusionRenderer

Wyniki mówią same za siebie. W rygorystycznych porównaniach „head-to-head” zarówno z klasycznymi, jak i neuronowymi metodami, DiffusionRenderer konsekwentnie przewyższał konkurencję we wszystkich ocenianych zadaniach. Model osiągnął lepsze wyniki w renderowaniu prostym, renderowaniu odwrotnym oraz, co szczególnie istotne, w relightingu, generując dokładniejsze odbicia lustrzane i wysokiej wierności oświetlenie.

Badania te odblokowują szereg praktycznych i potężnych zastosowań edycyjnych, które działają na podstawie jednego, „codziennego” wideo. Przepływ pracy jest prosty: model najpierw przeprowadza renderowanie odwrotne, aby zrozumieć scenę, użytkownik edytuje właściwości, a następnie model przeprowadza renderowanie proste, aby stworzyć nowy fotorealistyczny film.

• Dynamiczny relighting: Zmień porę dnia, zamień światła studyjne na zachód słońca lub całkowicie zmień nastrój sceny, po prostu dostarczając nową mapę środowiskową. Framework realistycznie renderuje wideo ze wszystkimi odpowiadającymi cieniami i odbiciami.
• Intuicyjna edycja materiałów: Chcesz zobaczyć, jak to skórzane krzesło wyglądałoby w chromie? Lub sprawić, by metalowa statua wyglądała na wykonaną z szorstkiego kamienia? Użytkownicy mogą bezpośrednio zmieniać G-bufory materiałów – dostosowując właściwości szorstkości, metaliczności i koloru – a model realistycznie wyrenderuje zmiany.
• Płynne wstawianie obiektów: Umieść nowe wirtualne obiekty w scenie ze świata rzeczywistego. Dodając właściwości nowego obiektu do G-buforów sceny, renderer prosty może syntetyzować finalne wideo, w którym obiekt jest naturalnie zintegrowany, rzucając realistyczne cienie i odbierając dokładne odbicia z otoczenia.

Nowe fundamenty dla grafiki komputerowej

DiffusionRenderer stanowi przełom w generowaniu i manipulacji scenami 3D. Holistycznie rozwiązując problem renderowania odwrotnego i prostego w ramach jednego, solidnego, opartego na danych frameworku, burzy długotrwałe bariery tradycyjnego PBR. Demokratyzuje fotorealistyczne renderowanie, przenosząc je z wyłącznej domeny ekspertów od efektów wizualnych z potężnym sprzętem do bardziej przystępnego narzędzia dla twórców, projektantów i deweloperów AR/VR.

W niedawnej aktualizacji autorzy dodatkowo udoskonalili proces odbarwiania i przywracania oświetlenia wideo, wykorzystując NVIDIA Cosmos i ulepszone zarządzanie danymi. To pokazuje obiecujący trend skalowalności: im potężniejszy staje się bazowy model dyfuzji wideo, tym lepsza jest jakość wyjściowa, co prowadzi do ostrzejszych, dokładniejszych rezultatów. Udoskonalenia te czynią technologię jeszcze bardziej atrakcyjną. Nowy model został udostępniony na licencji Apache 2.0 i NVIDIA Open Model License.