NVIDIA SpatialClaw: Kod jako interfejs działania w świecie sztucznej inteligencji przestrzennej

Współczesne modele wizyjno-językowe świetnie piszą wiersze, ale gubią się, gdy muszą precyzyjnie ocenić odległość między kubkiem a krawędzią stołu. Problem nie leży w samej architekturze sieci, lecz w ciasnym gorsecie, jaki narzucają im sztywne schematy danych. NVIDIA Research zaproponowała rozwiązanie tego impasu: SpatialClaw. To system typu „training-free”, który rezygnuje z formatu JSON na rzecz elastycznego kodu Pythona, pozwalając maszynom na niemal chirurgiczne rozumowanie geometryczne w czasie rzeczywistym.

Dlaczego to ważne teraz?

Modele AI cierpią na brak „wyobraźni przestrzennej”, co blokuje ich rozwój w robotyce czy analizie wideo. SpatialClaw to potężny skok jakościowy – framework osiągnął średnią dokładność 59,9% w 20 zróżnicowanych benchmarkach, deklasując dotychczasowego lidera, SpaceTools, o ponad 11 punktów procentowych. Jak twierdzi zespół NVIDIA Research: „W świecie benchmarków AI, skok 11 punktów średniej na 20 różnych testach to prawdziwie masowy skok możliwości”. Co istotne, system działa natychmiastowo na modelach o skali od 26B do 397B parametrów, bez konieczności ich dostrajania.

Problem sztywnego interfejsu

Tradycyjne podejścia opierają się na generowaniu całego programu naraz lub wywoływaniu konkretnych funkcji w ustrukturyzowanej formie. Oba rozwiązania zawodzą. W pierwszym przypadku AI musi z góry założyć strategię, co przy braku danych pośrednich kumuluje błędy. W drugim agent jest uwięziony w zamkniętej liście narzędzi. Nie może ich swobodnie łączyć z bibliotekami takimi jak NumPy czy SciPy, aby wyliczyć skomplikowaną trajektorię.

SpatialClaw traktuje kod jako żywy „interfejs akcji”. Agent operuje w pętli: planuje, generuje kod, uruchamia go w trwałym jądrze Jupyter, analizuje wynik i koryguje dalsze kroki. Dzięki temu system widzi np. maskę segmentacji z Depth Anything 3 i na tej podstawie decyduje, co zmierzyć w następnej kolejności.

Przewaga w geometrii i dynamice

Skuteczność tego podejścia widać w szczegółach. Zamiast zgadywać położenie środka obiektu, SpatialClaw potrafi samodzielnie zaimplementować strukturę KDTree, by precyzyjnie wyliczyć najkrótszy dystans między bryłami. Wyniki są uderzające. W zadaniach dynamicznych na modelu Gemma4-31B wydajność w teście DSI-Bench wzrosła o 17,6 punktu, a w MindCube o 15,3 punktu. Możliwość swobodnego komponowania kodu odpowiada za ponad połowę tych sukcesów.

Javier Medel z NVIDIA zauważa na LinkedIn, że system „nie wymaga żadnego specyficznego dla modelu szkolenia, działa natychmiast i uniwersalnie, czyniąc AI powszechnie pewniejszym co do przestrzeni”.

Bezpieczeństwo i wszechstronność

Uruchamianie kodu generowanego przez AI budzi obawy o bezpieczeństwo. Nvidia rozwiązała to przez zastosowanie statycznej analizy AST (Abstract Syntax Tree), która skanuje i eliminuje groźne instrukcje przed ich wykonaniem w jądrze Pythona. Dzięki temu proces jest w pełni kontrolowany.

Adaptacyjność SpatialClaw otwiera drogę do zaawansowanej robotyki i precyzyjnej inspekcji przemysłowej. Orientacja obiektu czy nawigacja wewnątrz pomieszczeń przestają być dla maszyn zadaniem „na czucie”, a stają się czystym problemem inżynieryjnym, rozwiązywanym krok po kroku z matematyczną dokładnością.