HomeBody: Model językowy planuje zadania i wywołuje umiejętności humanoida

Badacze ze Stanfordu i Caltechu zaprezentowali system HomeBody, który pozwala humanoidalnemu robotowi Unitree G1 wykonywać zadania porządkowe w nieznanej wcześniej kuchni. Rozwiązanie opiera się na modelu Astra, jednak w odróżnieniu od klasycznych architektur pominięto tu pośrednią, wcześniej wytrenowaną warstwę sterującą ruchem. Model nie kontroluje bezpośrednio każdego gestu robota, lecz planuje sekwencję działań i uruchamia konkretne umiejętności z biblioteki — takie jak nawigacja do wybranego punktu, sięganie do szuflady czy chwytanie obiektów.

Przed przystąpieniem do pracy maszyna musi najpierw zapoznać się z przestrzenią. Humanoid rejestruje otoczenie, a na podstawie zebranych danych powstaje cyfrowy bliźniak pomieszczenia w środowisku symulacyjnym Nvidia Isaac Sim. Kluczowym elementem systemu jest trwała pamięć przestrzenna: robot zapisuje lokalizacje poszczególnych przedmiotów, dzięki czemu może po nie sięgnąć również wtedy, gdy znajdą się poza jego aktualnym polem widzenia. W trakcie realizacji zadania model na bieżąco monitoruje postępy i podejmuje próby korekty, gdy dany krok zakończy się niepowodzeniem.

Eksperyment ujawnił jednocześnie szereg barier technologicznych, które oddalają ten system od zastosowań poza laboratoriami. Badacze wskazują na wysokie opóźnienia w generowaniu odpowiedzi przez model, znaczne koszty obliczeniowe oraz problemy sprzętowe, w tym przegrzewające się serwomechanizmy w dłoniach robota. Kod źródłowy projektu został opublikowany w serwisie GitHub.