Roboty uczą się obsługi narzędzi, obserwując ludzi. Przełom w uczeniu maszynowym

Większość robotów wciąż wykonuje zaprogramowane, powtarzalne zadania. Adaptacja do nieoczekiwanych sytuacji wymaga żmudnego przeprogramowywania. Alternatywą, która zyskuje na popularności, jest uczenie robotów poprzez obserwację. Niedawno zespół z University of Illinois Urbana-Champaign, we współpracy z badaczami z Columbia University i UT Austin, zaprezentował nowatorskie rozwiązanie: system „Tool-as-Interface”.

Ideą jest nauczenie robotów złożonych umiejętności posługiwania się narzędziami za pomocą zwykłych nagrań wideo, rejestrujących ludzi wykonujących codzienne czynności. Wystarczą dwa ujęcia kamery – coś, co można osiągnąć za pomocą smartfonów. System wykorzystuje model wizyjny MASt3R do rekonstrukcji trójwymiarowego modelu sceny. Następnie, wykorzystując metodę renderowania 3D Gaussian splatting, generowane są dodatkowe punkty widzenia, aby robot mógł „widzieć” zadanie z różnych perspektyw.

Kluczowym elementem jest cyfrowe usunięcie człowieka ze sceny. System „Grounded-SAM” izoluje narzędzie i jego interakcję z otoczeniem. Robot koncentruje się na trajektorii i orientacji narzędzia, a nie na ruchach ludzkiej ręki. Takie „podejście skoncentrowane na narzędziu” umożliwia przenoszenie umiejętności między różnymi robotami, niezależnie od konfiguracji ich ramion czy kamer.

System został przetestowany na pięciu zadaniach: wbijanie gwoździa, nabieranie klopsa, przewracanie jedzenia na patelni, balansowanie butelką wina i kopanie piłki do bramki. W porównaniu z tradycyjnymi metodami teleoperacji, „Tool-as-Interface” osiągnął o 71% wyższe wskaźniki sukcesu i zebrał dane treningowe o 77% szybciej. Profesor Katie Driggs-Campbell, która kieruje laboratorium, podkreśla, że celem projektu jest opracowanie algorytmów, które umożliwią robotom łatwe uczenie się od ludzi przy minimalnym nakładzie pracy inżynieryjnej.

Twórcy systemu inspirację zaczerpnęli ze sposobu, w jaki uczą się dzieci. Obserwują dorosłych i naśladują ich działania, często przy użyciu podobnych, ale nie identycznych narzędzi. Haonan Chen, jeden z głównych autorów projektu, dążył do odwzorowania tej zdolności w robotach.

Obecnie system zakłada, że narzędzie jest sztywno przymocowane do chwytaka robota. W przyszłości planowane jest udoskonalenie systemu percepcji, aby robot mógł uczyć się na przykładzie użycia jednego rodzaju długopisu, a następnie stosować tę umiejętność do długopisów o różnych kształtach i rozmiarach. W dalszej perspektywie, miliardy nagrań wideo dokumentujących użycie narzędzi przez ludzi mogłyby stać się globalną biblioteką szkoleniową dla robotów.

Omawiane badania, które zostały uhonorowane nagrodą Best Paper Award na konferencji ICRA 2025, stanowią ważny krok w kierunku wykorzystania potencjału nagrań wideo do uczenia robotów, które będą mogły uczyć się i adaptować równie naturalnie jak dzieci.