Świat w komputerze dostępny dla każdego. Premiera Open Dreamer

Koniec z domysłami, jak działają najnowocześniejsze modele świata. Zespół niezależnych badaczy – Francesco Sacco, Diego Martí i Edward Hu – udostępnił Open Dreamer. To otwarta implementacja potoku Dreamer 4, która pozwala na generowanie interaktywnych środowisk cyfrowych w czasie rzeczywistym. Twórcy nie tylko pokazali kod, ale też dali każdemu możliwość grania w Minecrafta w oknie przeglądarki.

Dlaczego to ważne? Open Dreamer to kompletny przepis treningowy oparty na JAX i Flax NNX. Publiczne wydanie tak zaawansowanego systemu z pełną dokumentacją uderza w monopol wielkich korporacji, które zazwyczaj trzymają detale swoich modeli świata w tajemnicy. Projekt udowadnia, że optymalizacja i odpowiednia architektura są w stanie zastąpić gigantyczną moc obliczeniową.

Architektura, która widzi czas i przestrzeń

Sercem systemu jest block-causal transformer składający się z 30 warstw. Zamiast wrzucać wszystko do jednego worka, zespół rozdzielił uwagę modelu na dwa typy: przestrzenną (analizującą co dzieje się w klatce) oraz czasową (łączącą ruch między klatkami). Taki podział sprawia, że model świata nie podpatruje akcji agenta, lecz wnioskuje o nich na podstawie zmian w otoczeniu. To zapewnia spójność logiczną, której brakuje prostszym generatorom wideo.

Zamiast VAE – sto razy większa kompresja

Badacze porzucili klasyczne autoenkodery wariacyjne (VAE) na rzecz Masked Autoencoder (MAE). Efekt? Stuprocentowa rezygnacja z modeli GAN i strat KL przy jednoczesnym uzyskaniu 100-krotnej kompresji danych. Sam model dynamiki posiada 1,6 miliarda parametrów. Co ciekawe, optymalizacja pozwoliła na osiągnięcie wysokiej efektywności wykorzystania układów B200 – MFU na poziomie 57-58%.

Od CoinRun po Minecrafta

Projekt przeszedł długą drogę od prostej gry CoinRun do pełnej symulacji Minecrafta. Demo przeglądarkowe oferuje unikalny przełącznik ‑ Game ⟷ Dream ‑ pozwalający na bieżąco porównywać prawdziwy kod gry z tym, co wyobraża sobie AI. Autorzy przyznają jednak, że największym wyzwaniem była stabilność treningu. Wykresy strat często kłamały, pokazując postęp, podczas gdy jakość obrazu drastycznie spadała. Rozwiązaniem okazał się optymalizator Muon i rygorystyczna kontrola wizualna.

• Pełna implementacja w JAX i Flax NNX.
• Dwa repozytoria kodu dostępne dla społeczności.
• Przeglądarkowe demo Minecrafta działające w czasie rzeczywistym.