Przełom w AI: Analiza grafów 95 razy szybsza na pojedynczym GPU dzięki FlexGNN

W świecie sztucznej inteligencji, obok językowych modeli LLM pokroju ChatGPT, ogromną rolę odgrywają sieci neuronowe działające na grafach (GNN). Analizują one dane w formie grafów – od transakcji finansowych po interakcje w mediach społecznościowych i dane medyczne. Dotychczas jednak pełne uczenie na grafach, wymagające analizy całego grafu naraz, było niezwykle zasobożerne. Wymagało potężnych serwerów GPU i ogromnych ilości pamięci RAM.

Zespół badawczy z Korea Advanced Institute of Science and Technology (KAIST) dokonał przełomu. Stworzyli oprogramowanie, które pozwala na szybkie trenowanie rozległych sieci GNN, używając zaledwie jednego GPU. O wynikach ich pracy pisze prestiżowa publikacja ACM SIGKDD Conference on Knowledge Discovery and Data Mining.

FlexGNN: Nowa Era w Analizie Grafów

Profesor Min-Soo Kim, kierujący zespołem, wyjaśnia, że opracowany przez nich system – FlexGNN – w odróżnieniu od dotychczasowych metod, które potrzebowały wielu serwerów GPU, trenuje i wnioskuje na podstawie rozległych modeli AI opartych na pełnych grafach, a wszystko to na jednym serwerze GPU. Co więcej, FlexGNN jest do 95 razy szybszy od obecnych rozwiązań.

Rosnące zastosowanie analizy grafów

Analiza danych w formie grafów, składających się z węzłów i krawędzi, zyskuje na popularności w wielu dziedzinach. Mowa o klimacie, finansach, medycynie, farmacji, produkcji i logistyce. Pełne wykorzystanie grafów w procesie uczenia zapewnia większą dokładność, ale generuje ogromne ilości danych tymczasowych, co z kolei prowadzi do problemów z pamięcią i wydłuża czas treningu.

Jak działa FlexGNN?

FlexGNN radzi sobie z tymi problemami, optymalizując proces uczenia na pojedynczym GPU. System wykorzystuje dyski SSD i pamięć operacyjną zamiast wielu serwerów GPU. Kluczem jest optymalizacja zapytań AI, która pozwala na dobór najlepszego momentu i sposobu transferu danych pomiędzy GPU, pamięcią operacyjną i dyskiem SSD.

FlexGNN elastycznie dostosowuje plany treningowe do dostępnych zasobów, takich jak rozmiar danych, skala modelu i pamięć GPU. To pozwala na osiągnięcie wysokiej wydajności i znaczne przyspieszenie treningu.

Dzięki temu możliwe jest trenowanie modeli GNN na danych przekraczających pojemność pamięci operacyjnej. Co istotne, trening może być nawet 95 razy szybszy na pojedynczym serwerze GPU. Otwiera to drogę do wykorzystania pełnych grafów w AI, co pozwala na dokładniejsze analizy w takich obszarach jak prognozowanie pogody.

Przyszłość analizy grafów

Profesor Kim podkreśla, że w obliczu rosnącej popularności modeli GNN w rozwiązywaniu złożonych problemów, takich jak prognozowanie pogody i odkrywanie nowych materiałów, technologia FlexGNN staje się niezwykle istotna. Rozwiązuje ona dotychczasowe problemy ze skalowaniem i szybkością uczenia modeli grafowych AI, a to z kolei otwiera drzwi do jej szerokiego zastosowania w różnych gałęziach przemysłu.

W badaniach, oprócz profesora Kima brali udział Jeongmin Bae (doktorant z KAIST) oraz Donghyoung Han (CTO w GraphAI Co.).