ReaGAN: Sieć neuronowa, która zamienia węzły grafów w autonomicznych agentów AI
Naukowcy z Rutgers University przedstawili nowatorskie podejście do uczenia się na grafach, które może fundamentalnie zmienić sposób, w jaki analizujemy sieci cytowań, systemy rekomendacji i inne złożone struktury danych. Ich praca, zatytułowana ReaGAN (Retrieval-augmented Graph Agentic Network), wprowadza koncepcję inteligentnych agentów działających w każdym węźle grafu.
GNN – ograniczenia tradycyjnego podejścia
Tradycyjne sieci neuronowe grafów (GNN) działają na zasadzie statycznego przekazywania komunikatów. Każdy węzeł agreguje informacje od swoich bezpośrednich sąsiadów, wykorzystując te same, z góry określone reguły. Takie podejście ma jednak swoje wady.
Po pierwsze, węzły w grafie nie są sobie równe. Niektóre zawierają bogate i użyteczne informacje, podczas gdy inne są rzadkie i zaszumione. Traktowanie ich w ten sam sposób prowadzi do utraty cennych sygnałów lub zagłuszania użytecznego kontekstu przez szum. Po drugie, GNN skupiają się na lokalnej strukturze grafu, pomijając potencjalnie istotne, semantycznie podobne, ale odległe węzły.
ReaGAN – każdy węzeł to autonomiczny agent
ReaGAN odwraca to podejście. Zamiast pasywnych węzłów, każdy węzeł staje się agentem, który aktywnie planuje swoje kolejne kroki na podstawie własnej pamięci i kontekstu. Wykorzystuje do tego zamrożony duży model językowy (LLM), taki jak Qwen2-14B, aby dynamicznie decydować o dalszych działaniach. Agent może zdecydować się na zebranie większej ilości informacji, przewidzenie swojej etykiety lub wstrzymanie działania.
Agent ma do dyspozycji kilka opcji. Może agregować informacje od bezpośrednich sąsiadów (agregacja lokalna) lub pobierać informacje z dowolnego miejsca w grafie (agregacja globalna). Czasami najlepszym rozwiązaniem jest wstrzymanie się od działania, aby uniknąć przeciążenia informacjami lub szumem. Kluczowym elementem jest tutaj pamięć. Każdy agent utrzymuje prywatny bufor dla swoich surowych cech tekstowych, zagregowanego kontekstu i zestawu oznaczonych przykładów. To pozwala na dostosowane podpowiedzi i wnioskowanie na każdym etapie.
Jak działa ReaGAN?
- Percepcja: Węzeł zbiera kontekst ze swojego stanu i bufora pamięci.
- Planowanie: Tworzona jest podpowiedź (podsumowująca pamięć węzła, cechy i informacje o sąsiadach) i wysyłana do LLM, który rekomenduje kolejne działania.
- Działanie: Węzeł może agregować lokalnie, pobierać globalnie, przewidywać swoją etykietę lub nie podejmować żadnych działań. Wyniki są zapisywane z powrotem do pamięci.
- Iteracja: Ta pętla wnioskowania działa przez kilka warstw, umożliwiając integrację i udoskonalanie informacji.
- Predykcja: W końcowej fazie węzeł dąży do przewidzenia etykiety, w oparciu o zebrane lokalne i globalne dowody.
Nowością jest to, że każdy węzeł decyduje autonomicznie i asynchronicznie. Nie ma globalnego zegara ani wspólnych parametrów wymuszających jednolitość.
Obiecujące wyniki
ReaGAN osiąga konkurencyjną dokładność na klasycznych benchmarkach (Cora, Citeseer, Chameleon), często dorównując lub przewyższając bazowe GNN, i co ważne – bez nadzorowanego treningu i tzw. fine-tuningu. Dzieje się tak dlatego, że wykorzystuje zamrożony LLM do efektywnego planowania i gromadzenia kontekstu.
Kluczowe wnioski
- Sposób łączenia lokalnej i globalnej pamięci w podpowiedziach LLM wpływa na dokładność, a najlepsza strategia zależy od rozproszenia grafu i lokalizacji etykiet.
- Ujawnianie nazw etykiet może prowadzić do tendencyjnych przewidywań; anonimizacja etykiet daje lepsze wyniki.
- Zdecentralizowane wnioskowanie na poziomie węzła jest szczególnie skuteczne w rzadkich grafach lub tych z zaszumionym otoczeniem.
ReaGAN wyznacza nowy standard w uczeniu się grafów opartym na agentach. Wraz z rosnącą wyrafinowaniem LLM i architektur opartych na wyszukiwaniu, wkrótce możemy zobaczyć grafy, w których każdy węzeł jest nie tylko liczbą lub osadzeniem, ale adaptacyjnym, świadomym kontekstu agentem wnioskującym, gotowym do sprostania wyzwaniom jutrzejszych sieci danych.
