Robotyczna pamięć podręczna: System DAAAM uczy maszyny kontekstu czasu i przestrzeni

Większość współczesnych systemów robotycznych postrzega świat w sposób niezwykle doraźny. Maszyna widzi przeszkodę, identyfikuje obiekt lub nawiguje do celu, ale zazwyczaj traci z oczu szerszy kontekst upływającego czasu. Dla robota sprzątającego czy przemysłowego ramienia to, co wydarzyło się dziesięć minut temu, często przestaje istnieć w jego cyfrowej świadomości. Badacze z MIT, we współpracy z Uniwersytetem Technologicznym w Norymberdze, postanowili przełamać tę barierę, tworząc system DAAAM (Describe Anything Anywhere Anytime). To próba nadania maszynom pamięci długoterminowej, która strukturą przypomina ludzkie kojarzenie faktów.

Rozwiązanie to pojawia się w krytycznym momencie dla robotyki kognitywnej. Integracja pamięci czasoprzestrzennej z językiem naturalnym sprawia, że maszyny przestają tylko wykonywać polecenia, a zaczynają rozumieć historię otoczenia. Według testów przeprowadzonych m.in. przez Hyper.AI oraz ScienceStack, system DAAAM osiąga od 21 do 53% wyższą dokładność w zadaniach lokalizacyjnych i czasowych niż dotychczasowe metody. To sygnał, że technologia jest gotowa do wyjścia z laboratoriów prosto do magazynów logistycznych i placówek opiekuńczych.

Przełom w 4D: Nie tylko gdzie, ale i kiedy

Tradycyjne metody mapowania opierają się na przechowywaniu statycznych klatek obrazu, co ogranicza zdolność do analizowania dynamiki zmian. DAAAM podchodzi do problemu inaczej, budując tzw. graf sceny 4D. System kataloguje obiekty w trójwymiarowej przestrzeni, ale jednocześnie przypisuje każdemu z nich unikalny znacznik czasu i opis tekstowy. Dzięki temu robot nie tylko wie, że na kampusie znajduje się rzeźba, ale potrafi wskazać, czy jej stan uległ zmianie od ostatniej wizyty.

Kluczem do sukcesu okazało się obejście ograniczeń sprzętowych. Zaawansowane modele wizyjne (VLM) są zbyt ociężałe, by przetwarzać każdą klatkę obrazu na bieżąco. Zespół pod kierownictwem Luki Carlone i Nicolasa Gorlo zastosował mechanizm grupowania: system selekcjonuje najbardziej czytelne ujęcia i opisuje kilka obiektów naraz. Jak podkreśla zespół MIT: ‘DAAAM przyspiesza przetwarzanie obrazów dziesięciokrotnie, opisując kilka obiektów naraz w wybranych, najlepiej widocznych ujęciach’. Dzięki temu robot może budować graf sceny przy zachowaniu płynności ruchu na poziomie 10 klatek na sekundę.

Skuteczność potwierdzona w testach

Weryfikacja systemu wykazała znaczącą przewagę nad dotychczasowymi liderami branży. W ewaluacjach typu OC-NaVQA system poprawił dokładność odpowiedzi o 53,6%, jednocześnie redukując błędy czasowe o 21,6%. Maszyna sprawnie odpowiada na pytania typu „gdzie ostatnio widziałeś czerwone narzędzie?” lub „jak długo te drzwi były otwarte?”

Według badaczy z MIT cytowanych przez ScienceStack, ta pamięć może funkcjonować przez godziny i kilometry przejazdu.

Należy jednak zachować dystans. Choć DAAAM sprawnie radzi sobie z typowymi obiektami, czasem ulega halucynacjom typowym dla modeli AI – przykładowo błędnie zakładając obecność klamek w drzwiach windy na podstawie statystyki, a nie widoku. Istnieją też ograniczenia wydajnościowe. Obecna moc obliczeniowa wystarcza dla wolnych robotów naziemnych, ale dla dronów architektura ta wciąż jest zbyt obciążająca.

Przyszłość open-source

Możliwość przeszukiwania historii zdarzeń przez agenta AI sprawia, że maszyny stają się autonomicznymi partnerami, a nie tylko zaprogramowanymi wykonawcami. Zespół z MIT zapowiedział udostępnienie kodu oraz zbiorów danych w formacie open-source. To krok w stronę standaryzacji sposobu, w jaki roboty uczą się rozumieć upływ czasu w fizycznym świecie.