Nvidia stawia na fizyczną sztuczną inteligencję – nowe modele i narzędzia dla robotyki

Nvidia, znana z dominacji w segmencie procesorów graficznych, na konferencji SIGGRAPH 2025 zaprezentowała zestaw innowacji, które mają zrewolucjonizować fizyczną sztuczną inteligencję. Pakiet obejmuje modele świata Cosmos, zaawansowane biblioteki symulacyjne oraz infrastrukturę obliczeniową, mające na celu przyspieszenie rozwoju robotyki, pojazdów autonomicznych i zastosowań przemysłowych.

Modele świata Cosmos jako fundament rozumowania robotów

Centralnym punktem ogłoszenia jest Cosmos Reason, model wizyjno-językowy z 7 miliardami parametrów, zaprojektowany z myślą o robotach i agentach działających w fizycznym świecie. Jego kluczową cechą jest zintegrowana pamięć i zrozumienie praw fizyki, co pozwala na skomplikowane rozumowanie przestrzenne i czasowe. Dzięki temu roboty mogą planować sekwencje działań w złożonych środowiskach, co ma kluczowe znaczenie w takich zastosowaniach jak kategoryzacja danych, planowanie robotyczne czy analiza wideo.

Cosmos Reason przetwarza ustrukturyzowane dane wideo i sensoryczne, takie jak mapy segmentacji czy dane LiDAR, przekształcając je w decyzje dotyczące kolejnych ruchów agenta. Wspiera zarówno wysokopoziomowe interpretowanie instrukcji, jak i generowanie działań na niskim poziomie, naśladując ludzką logikę w nawigacji i manipulacji obiektami.

Generowanie danych syntetycznych z Cosmos Transfer

Kolejnym istotnym elementem jest Cosmos Transfer-2, narzędzie przyspieszające generowanie syntetycznych zestawów danych. Możliwe jest to z wykorzystaniem scen symulacyjnych 3D lub wejść sterowania przestrzennego. To rozwiązanie istotnie redukuje czas i koszty produkcji realistycznych danych treningowych dla robotów. Ma to szczególne znaczenie w uczeniu przez wzmacnianie oraz walidacji modeli zachowania, gdzie konieczne jest modelowanie rzadkich przypadków, zróżnicowanego oświetlenia czy warunków pogodowych w dużej skali. Wariant Distilled Transfer dodatkowo optymalizuje szybkość, umożliwiając deweloperom szybsze iteracje w tworzeniu danych.

Rodzina modeli Cosmos WFM (World Foundation Models) obejmuje trzy kategorie – Nano, Super i Ultra – z liczbą parametrów od 4 do 14 miliardów. Mogą być dostosowane do różnych wymagań, takich jak opóźnienia, wierność czy zastosowania, od strumieniowania w czasie rzeczywistym po fotorealistyczne renderowanie.

Biblioteki symulacyjne Omniverse dla tworzenia wirtualnych światów

Platforma Omniverse Nvidii również otrzymała znaczącą aktualizację. Wprowadzono Neural Reconstruction Libraries, które pozwalają deweloperom importować dane sensoryczne i symulować fizyczny świat w 3D z fotorealistyczną dokładnością, opartą na technikach renderowania neuronowego. Integracja z OpenUSD i symulatorem CARBLA, a także nowe narzędzia konwertujące i możliwości renderowania, mają ustandaryzować złożone procesy symulacji, ułatwiając interoperacyjność między frameworkami robotycznymi (takimi jak Mujoco) a potokiem USD Nvidii. Nowa SimReady Materials Library oferuje tysiące materiałów dla tworzenia realistycznych środowisk wirtualnych, co zwiększa wierność symulacji i treningu robotyki.

Silnik symulacyjny Nvidia’s Isaac Sim w wersji 5.0.0. zyskał ulepszone modele aktuatorów, szersze wsparcie dla Pythona i ROS, a także nowe renderowanie neuronowe dla lepszych danych syntetycznych.

Infrastruktura dla rozwoju robotyki

Nvidia zaprezentowała również infrastrukturę stworzoną z myślą o procesach rozwoju robotyki. Serwery RTX Pro Blackwell zostały zaprojektowane specjalnie dla zadań robotycznych, zapewniając ujednoliconą architekturę dla symulacji, treningu i wnioskowania. Dodatkowo, DGX Cloud umożliwia zarządzanie i skalowanie fizycznych procesów AI w chmurze, co pozwala zespołom na zdalne tworzenie, trenowanie i wdrażanie agentów AI.

Wpływ rynkowy i otwarta innowacja

Wiodące firmy, takie jak Amazon Devices, Agility Robotics, Figure AI, Uber, czy Boston Dynamics, już teraz testują modele Cosmos i narzędzia Omniverse. Wykorzystują je do generowania danych treningowych, budowania cyfrowych bliźniaków i przyspieszania wdrażania robotyki w produkcji, transporcie i logistyce. Modele Cosmos są szeroko dostępne poprzez API Nvidii i katalogi deweloperskie, z elastyczną licencją wspierającą zarówno badania, jak i zastosowania komercyjne.

Wizja Nvidii jest jasna: fizyczna sztuczna inteligencja to wyzwanie obejmujące cały stos technologiczny, wymagające inteligentniejszych modeli, bogatszej symulacji i skalowalnej infrastruktury. Z pakietem modeli Cosmos, bibliotekami Omniverse i serwerami opartymi na Blackwellu, Nvidia dąży do zniwelowania luki między wirtualnym treningiem a wdrożeniem w świecie rzeczywistym. Celem jest redukcja kosztownych prób i błędów, a także odblokowanie nowych poziomów autonomii dla robotów i inteligentnych agentów.