Disney testuje AI do lyric videos. Zaczyna od „Go the Distance” z „Herculesa”

Walt Disney Co. eksperymentuje z generowaniem przez AI wideo z tekstami swoich piosenek. Jak opisuje Los Angeles Times, pierwszym utworem w teście jest „Go the Distance” z animowanego „Herculesa” z 1997 roku. Całość to element umowy komercyjnej z OpenArt, startupem z rejonu zatoki San Francisco, który tworzy filmy wideo za pomocą sztucznej inteligencji.

Mechanizm jest prosty: Disney wgrywa piosenkę do platformy OpenArt, a ta przygotowuje podgląd storyboardu lyric video na podstawie słów utworu, jego nastroju i emocjonalnego tonu. Na każdym etapie studio może wprowadzać zmiany i dopracowywać materiał. Disney podaje na swoim blogu, że zespoły kreatywne mogą dzięki temu generować i oceniać wiele koncepcji „w godzinach zamiast tygodni”, co ma umożliwić nowe doświadczenia dla fanów muzyki Disneya między dużymi premierami.

Dyrektor generalna OpenArt Coco Mao mówi, że Disney chce wykorzystać część starszego katalogu muzycznego do tworzenia wideo z tekstami piosenek. Zastrzega jednak, że to „wczesna eksploracja”, w której studio sprawdza, jak AI może wesprzeć jego proces twórczy.

Akcelerator złożony wyłącznie z firm AI

Umowę ogłoszono we wtorek podczas Demo Day programu Disney Accelerator w Burbank. OpenArt jest jedną z pięciu firm tegorocznej edycji, a cała grupa to firmy AI. Program daje uczestnikom kapitał inwestycyjny i możliwość rozmów o przyszłej współpracy z kierownictwem Disneya. Szczegóły edycji Disney opisuje na stronach akceleratora i firmy; wśród uczestników wymieniono m.in. FieldAI i Physical Intelligence.

David Min, wiceprezes ds. innowacji w Disneyu, powiedział, że studio patrzy, jak wpasować takie firmy w istniejące procesy pracy i je przyspieszyć. Inne współprace z akceleratora są bardziej przyziemne: FieldAI sprawdza z Disneyem, czy roboty mogą pomagać przy parkowaniu i innych operacjach w parkach rozrywki, a Physical Intelligence bada, czy systemy robotyczne poradzą sobie z układaniem i obsługą okularów 3D do czyszczenia między pokazami.

Platforma, nie jeden model

OpenArt działa jako nakładka na wiele modeli, m.in. Kling, Google Veo i Seedream, a klienci biznesowi sami wybierają, z którego skorzystać. Firma ma też narzędzie do oznaczania potencjalnych naruszeń własności intelektualnej. Powstała w 2022 roku, założyli ją byli inżynierowie Google’a Coco Mao i John Qiao. Według własnych deklaracji zatrudnia prawie 100 osób i ma 17 mln aktywnych użytkowników miesięcznie.

LA Times zwraca uwagę, że takie wideo ma realną wartość na platformach społecznościowych. Opublikowane na YouTube sześć lat temu lyric video z „Go the Distance” śpiewanym w różnych językach, ze sceną z „Herculesa”, zdobyło 280 tys. wyświetleń. Gazeta dodaje, że teledyski to jeden z popularnych sposobów wykorzystania AI przez twórców, bo są tańsze i pozwalają testować odważne pomysły bez wielkiego budżetu.

Spory o prawa autorskie w tle

Eksperyment zbiega się z twardą linią Disneya wobec innych firm AI. Studio i inne wytwórnie pozwały Midjourney i MiniMax, a w lutym Disney wysłał ByteDance wezwanie do zaprzestania naruszeń w związku z generatorem wideo Seedance 2.0.

Nie wszystkie partnerstwa Disneya z AI wypaliły. W ubiegłym roku studio zapowiedziało inwestycję 1 mld dolarów w OpenAI oraz licencję na postacie Disneya w generatorze Sora. Umowa rozpadła się po kilku miesiącach, gdy OpenAI zdecydowało się zamknąć Sorę i skupić zasoby gdzie indziej; nigdy nie została sfinalizowana i nie przepłynęły żadne pieniądze. We wrześniu Disney mianował pierwszym w historii dyrektorem technologicznym Karandeepa Ananda, ówczesnego szefa Character.AI. W październiku Character.AI ogłosiło upadłość, a Disney zaoferował 20 mln dolarów za licencję na część jego własności intelektualnej — inni oferenci mogą jeszcze tę kwotę przebić.