Luma AI prezentuje Ray3 Modify: Nowy wymiar kontroli nad generatywnym wideo

W dynamicznie ewoluującej branży generatywnego wideo precyzyjna kontrola nad wyjściowym materiałem stanowi kluczowe wyzwanie. Startup Luma AI, wspierany przez a16z, zaprezentował swój najnowszy model – Ray3 Modify. Ma on za zadanie zrewolucjonizować sposób, w jaki profesjonaliści edytują i tworzą treści wideo, oferując niespotykany dotąd poziom kontroli nad generowanymi elementami, przy jednoczesnym zachowaniu pierwotnej ekspresji aktorskiej.

Ray3 Modify wyróżnia się zdolnością do modyfikacji istniejących nagrań wideo poprzez wykorzystanie obrazów referencyjnych postaci. Co istotne, model ten zachowuje oryginalną grę aktorską, ruch, synchronizację, spojrzenia i emocje, jednocześnie transformując scenę zgodnie z dostarczonymi referencjami. Dla studiów kreatywnych oznacza to możliwość wykorzystania aktorów w realnym środowisku, a następnie swobodnej adaptacji ich wizerunku lub otoczenia w postprodukcji z wykorzystaniem AI.

Przełom w wizualizacji i narracji

Jedną z kluczowych funkcji Ray3 Modify jest możliwość dostarczania początkowych i końcowych ramek referencyjnych. Umożliwia to modelowi generowanie płynnych przejść między scenami lub precyzyjne kierowanie ruchem i zachowaniem postaci. Funkcja ta okazuje się nieoceniona przy tworzeniu skomplikowanych sekwencji, gdzie ciągłość wizualna i narracyjna jest priorytetem. Twórcy zyskują pełną kontrolę nad kostiumami, wyglądem i tożsamością postaci, co pozwala na eksperymentowanie z wizerunkiem bez konieczności ponawiania fizycznych zdjęć.

Amit Jain, współzałożyciel i CEO Luma AI, podkreśla, że Ray3 Modify łączy świat realny z ekspresywnością sztucznej inteligencji, oddając pełną kontrolę w ręce twórców. „Zespoły kreatywne mogą rejestrować występy kamerą, a następnie natychmiast modyfikować je, umieszczając w dowolnej wyobrażalnej lokalizacji, zmieniając kostiumy, a nawet ponownie kręcąc scenę za pomocą AI, bez konieczności odtwarzania fizycznego planu” — komentuje Jain.

Nowy model Luma AI jest dostępny dla użytkowników za pośrednictwem platformy Dream Machine. Jego premiera następuje po rundzie finansowania o wartości 900 milionów dolarów przeprowadzonej przez Humain, firmę AI należącą do saudyjskiego Public Investment Fund, która miała miejsce w listopadzie. W rundzie uczestniczyli również dotychczasowi inwestorzy, tacy jak a16z, Amplify Partners i Matrix Partners. Luma AI planuje także budowę klastra AI o mocy 2 gigawatów w Arabii Saudyjskiej we współpracy z Humain, co świadczy o rosnących ambicjach firmy w sektorze sztucznej inteligencji i generatywnego wideo.