Stanford rewolucjonizuje postrzeganie obiektów przez AI: w stronę robotów rozumiejących funkcje narzędzi

Wizja autonomicznych robotów, które z elegancją poruszają się po naszym świecie, sprawnie wykonując zadania, od dawna fascynuje inżynierów i naukowców zajmujących się sztuczną inteligencją. Kluczowym krokiem na drodze do tego celu jest zdolność robotów do rozpoznawania obiektów w otoczeniu. Obecne modele wizji komputerowej, choć imponujące w identyfikacji przedmiotów w obrazach dwuwymiarowych, operują głównie na poziomie wzorców pikseli. Rozpoznanie obiektu to jednak dopiero początek. Prawdziwe wyzwanie leży w zrozumieniu funkcji poszczególnych części, odróżnieniu wylewki od uchwytu, czy ostrza noża do chleba od ostrza noża do masła. To właśnie to głębsze pojmowanie jest celem tzw. „korespondencji funkcjonalnej” – jednej z najtrudniejszych przeszkód do pokonania w dziedzinie wizji komputerowej.

Przełom w tym obszarze zaprezentują naukowcy ze Stanford University na Międzynarodowej Konferencji Wizji Komputerowej (ICCV 2025). Opracowali oni nowy model AI, który znacznie wykracza poza dotychczasowe możliwości. Potrafi on nie tylko rozpoznać poszczególne części obiektu i zidentyfikować ich funkcje, ale także mapować te funkcje z dokładnością co do piksela, porównując je między różnymi obiektami. Oznacza to, że przyszły robot mógłby odróżnić tasak od noża do chleba, czy łopatkę od szpadla, a następnie samodzielnie wybrać odpowiednie narzędzie do wykonania zadania. Co więcej, zgodnie z sugestią badaczy, robot mógłby przenieść umiejętność używania jednego narzędzia (np. łopatki) na inne (np. szpadel), czy nawet zaadaptować funkcję butelki do czajnika, aby zrealizować zadanie z użyciem odmiennych przedmiotów.

Stefan Stojanov, współautor badania, wyjaśnia: „Nasz model jest w stanie analizować obrazy szklanej butelki i czajnika, rozpoznając wylewkę w obu przypadkach, ale jednocześnie rozumiejąc, że wylewka służy do nalewania”. Ustanowienie takiej korespondencji to sztuka identyfikacji, które piksele w dwóch obrazach odnoszą się do tego samego punktu w świecie rzeczywistym, nawet jeśli zdjęcia są wykonane pod różnymi kątami lub przedstawiają inne obiekty. Jest to wyzwaniem, nawet gdy mamy do czynienia z tym samym obiektem, lecz w kontekście różnorodności przedmiotów codziennego użytku – jak butelka kontra czajnik – trudność ta wzrasta wykładniczo. Robot autonomiczny musi bowiem uogólniać wiedzę między kategoriami obiektów i podejmować decyzje o wyborze odpowiedniego narzędzia do danego zadania.

Naukowcy ze Stanford dążą do stworzenia robotów, które będą w stanie na przykład w kuchni wybrać czajnik do zaparzenia herbaty, wiedząc, że należy go chwycić za uchwyt, a wodę nalać z wylewki. Prawdziwa korespondencja funkcjonalna uczyniłaby roboty znacznie bardziej adaptacyjnymi niż obecnie. Robot domowy nie potrzebowałby szkolenia z obsługi każdego pojedynczego narzędzia; mógłby wnioskować przez analogię, rozumiejąc, że choć nóż do chleba i nóż do masła służą do cięcia, to każdy z nich ma swoje specyficzne przeznaczenie.

W dotychczasowych wysiłkach na rzecz ugruntowania korespondencji funkcjonalnej sukcesy dotyczyły jedynie korespondencji rzadkiej, definiującej nieliczne kluczowe punkty na obiekcie. Zespół ze Stanford osiągnął jednak tak zwaną „gęstą” korespondencję funkcjonalną. Linan 'Frank’ Zhao, również współautor pracy, podkreśla, że tradycyjne metody nadzorowanego uczenia, wymagające ręcznego etykietowania tysięcy pikseli dla każdego obiektu, są nieefektywne. Rozwiązaniem okazało się uczenie z „słabym nadzorem”, wykorzystujące modele wizualno-językowe do generowania etykiet identyfikujących części funkcjonalne, podczas gdy eksperci ludzcy zajmowali się jedynie kontrolą jakości danych. To podejście jest znacznie efektywniejsze kosztowo i czasowo.

Przykład czajnika i butelki doskonale ilustruje tę innowację: każdy piksel wylewki czajnika jest powiązany z pikselem na otworze butelki, zapewniając gęste mapowanie funkcjonalne między dwoma obiektami. Nowy system wizyjny jest w stanie dostrzec funkcję w strukturze, nawet w przypadku odmiennych obiektów, co stanowi cenne połączenie definicji funkcjonalnej i spójności przestrzennej. Obecnie system został przetestowany wyłącznie na obrazach, a nie w realnych eksperymentach z robotami, ale zespół badawczy wierzy, że model ten stanowi obiecujący krok naprzód dla robotyki i wizji komputerowej.

Gęsta korespondencja funkcjonalna wpisuje się w szerszy trend w AI, gdzie modele ewoluują od prostego rozpoznawania wzorców do rozumienia funkcji obiektów. Tam, gdzie wcześniejsze modele widziały jedynie zbiory pikseli, nowsze systemy są w stanie wnioskować o przeznaczeniu. Yunzhi Zhang, doktorantka informatyki ze Stanford, podsumowuje: „To lekcja, jak forma podąża za funkcją. Części obiektu, które spełniają określoną funkcję, mają tendencję do zachowania spójności w różnych obiektach, nawet jeśli inne części znacznie się różnią”. W dalszej perspektywie badacze planują zintegrować swój model z agentami wcielonymi (embodied agents) i budować bogatsze zbiory danych. Jak mówi Stojanov: „Jeśli uda nam się opracować sposób na uzyskanie jeszcze precyzyjniejszych korespondencji funkcjonalnych, to powinien to być ważny krok naprzód. Ostatecznie, nauczenie maszyn postrzegania świata przez pryzmat funkcji może zmienić trajektorię wizji komputerowej – koncentrując ją mniej na wzorcach, a bardziej na użyteczności”.