M3-Agent: Nowy krok w stronę AI z długotrwałą pamięcią i rozumowaniem multimodalnym

Wyobraź sobie robota domowego, który bez pytania serwuje ci kawę każdego ranka, bo zapamiętał twoje nawyki. To wizja, do której przybliża nas M3-Agent, nowa architektura AI stworzona przez zespół naukowców z ByteDance Seed, Zhejiang University i Shanghai Jiao Tong University. Ich praca stanowi istotny krok naprzód w rozwoju agentów multimodalnych zdolnych do uczenia się i adaptacji w dynamicznym środowisku.

W przeciwieństwie do obecnych systemów AI opartych głównie na modelach językowych (LLM), M3-Agent przetwarza różnorodne dane wejściowe – wizualne i dźwiękowe – budując bogatszą, bardziej szczegółową reprezentację świata. To kluczowe, ponieważ świat, w którym żyjemy, jest multimodalny: odbieramy informacje z różnych źródeł jednocześnie. Agent AI, który potrafi to robić, ma szansę lepiej zrozumieć kontekst i podejmować bardziej trafne decyzje.

Problem długotrwałej pamięci

Budowa agenta multimodalnego wiąże się z nowymi wyzwaniami, zwłaszcza w kontekście długotrwałej pamięci. Nie wystarczy po prostu zapisywać surowych danych; agent musi budować wewnętrzną wiedzę o świecie, podobnie jak robią to ludzie. Dotychczasowe próby radziły sobie z tym problemem w różny sposób, np. poprzez dołączanie historii interakcji do pamięci, tworzenie streszczeń lub wykorzystywanie ukrytych reprezentacji. Jednak te metody często zawodzą w przypadku długich strumieni danych i mają trudności z utrzymaniem spójności pamięci w czasie.

M3-Agent rozwiązuje ten problem poprzez zastosowanie struktury pamięci zorientowanej na encje. Oznacza to, że agent nie tylko zapamiętuje poszczególne zdarzenia, ale także identyfikuje obiekty, osoby i relacje między nimi, budując semanticzną mapę świata. Długoterminowa pamięć jest zorganizowana w graf, gdzie węzły reprezentują odrębne elementy pamięci z unikalnymi identyfikatorami, modalnościami, surową zawartością, osadzeniami i metadanymi.

Dwa procesy: zapamiętywanie i kontrola

Działanie M3-Agenta opiera się na dwóch równoległych procesach: zapamiętywaniu i kontroli. Podczas zapamiętywania agent przetwarza strumień wideo, generując zarówno pamięć epizodyczną (dla surowej zawartości), jak i pamięć semantyczną (dla abstrakcyjnej wiedzy, takiej jak tożsamość i relacje). Z kolei proces kontroli odpowiada za wieloetapowe rozumowanie i wyszukiwanie odpowiednich informacji w pamięci.

Wyniki eksperymentów

Skuteczność M3-Agenta została przetestowana na specjalnie stworzonych do tego benchmarkach: M3-Bench-robot i M3-Bench-web. Wyniki są obiecujące. Na M3-Bench-robot M3-Agent osiągnął o 6,3% wyższą dokładność niż najsilniejszy punkt odniesienia, MA-LLM. Na M3-Bench-web i VideoMME-long, przewyższył GeminiGPT4o-Hybrid odpowiednio o 7,7% i 5,3%. Wyniki te podkreślają zdolność M3-Agenta do utrzymywania spójności postaci, zwiększania zrozumienia ludzkiego i skutecznego integrowania informacji multimodalnych. To istotne, ponieważ pokazuje, że agent nie tylko zapamiętuje fakty, ale także rozumie kontekst i potrafi wyciągać wnioski.

Przyszłość agentów AI

Mimo obiecujących wyników, autorzy pracy wskazują na pewne ograniczenia i obszary do dalszego rozwoju. Należą do nich m.in. poprawa mechanizmów uwagi dla pamięci semantycznej oraz opracowanie bardziej wydajnych systemów pamięci wizualnej. Usprawnienia te otworzą drogę do jeszcze bardziej zaawansowanych i przypominających ludzkie możliwości agentów AI, które znajdą zastosowanie w wielu praktycznych aplikacjach, od robotyki, przez obsługę klienta, po edukację.

M3-Agent to nie tylko kolejny model AI, to nowa architektura, która ma potencjał zrewolucjonizować sposób, w jaki maszyny rozumieją i oddziałują ze światem. To krok w stronę przyszłości, w której sztuczna inteligencja będzie bardziej inteligentna, bardziej autonomiczna i bardziej użyteczna.