LEANN: Nowa, ultrakompaktowa baza danych wektorowych rewolucjonizuje osobiste AI

W dziedzinie sztucznej inteligencji, wyszukiwanie oparte na wektorach zyskuje na popularności, wyprzedzając tradycyjne metody słow kluczowych. Przez uchwycenie podobieństw semantycznych za pomocą gęstych reprezentacji wektorowych i wyszukiwania najbliższych sąsiadów (ANN), technika ta oferuje znacznie lepszą precyzję i trafność wyników.

Jednakże, implementacja ANN wiąże się z problemem dużego zapotrzebowania na przestrzeń dyskową. Struktury danych ANN często zajmują od 1.5 do 7 razy więcej miejsca niż oryginalne dane. O ile w przypadku aplikacji internetowych o dużej skali problem ten jest akceptowalny, o tyle staje się barierą dla urządzeń osobistych lub pracy z bardzo dużymi zbiorami danych.

Kluczowym wyzwaniem staje się zatem redukcja obciążenia związanego z przechowywaniem danych poniżej 5% pierwotnego rozmiaru danych, co jest szczególnie istotne w zastosowaniach na tzw. krawędzi sieci (edge deployment). Dotychczasowe rozwiązania nie spełniają jednak tego kryterium, a techniki takie jak kwantyzacja produktu (PQ), choć zmniejszają zapotrzebowanie na przestrzeń dyskową, prowadzą do obniżenia dokładności lub wydłużenia czasu wyszukiwania.

Rewolucja w miniaturyzacji baz danych

W odpowiedzi na te wyzwania, zespół naukowców z UC Berkeley, CUHK, Amazon Web Services i UC Davis opracował LEANN – wysoce wydajny system wyszukiwania ANN, zoptymalizowany pod kątem urządzeń osobistych o ograniczonych zasobach. LEANN łączy w sobie zwartą strukturę grafową ze strategią dynamicznej rekomputacji, umożliwiając szybkie i precyzyjne wyszukiwanie przy minimalnym obciążeniu pamięci.

LEANN osiąga do 50 razy mniejsze zapotrzebowanie na przestrzeń dyskową w porównaniu ze standardowymi indeksami, redukując rozmiar indeksu do poniżej 5% oryginalnych danych. Jednocześnie, system utrzymuje wysoki poziomRecall top-3 na poziomie 90% w czasie poniżej 2 sekund na rzeczywistych zestawach danych typu question-answering.

Architektura LEANN

Architektura LEANN opiera się na frameworku HNSW (Hierarchical Navigable Small World), który zakłada, że każde zapytanie potrzebuje osadzeń tylko dla ograniczonego podzbioru węzłów. Zamiast przechowywać wszystkie osadzenia, LEANN oblicza je na żądanie, co znacząco redukuje zapotrzebowanie na pamięć. Dodatkowo, system wykorzystuje dwupoziomowy algorytm przeszukiwania grafu z dynamicznym przetwarzaniem wsadowym, co poprawia wykorzystanie GPU i zmniejsza opóźnienia.

Wyniki i porównania

W testach porównawczych, LEANN znacząco przewyższa EdgeRAG, metodę rekomputacji opartą na IVF (Inverted File Index), osiągając redukcję opóźnień od 21.17 do 200.60 razy na różnych zbiorach danych i platformach sprzętowych. Przewaga ta wynika z polilogarytmicznej złożoności obliczeniowej LEANN, która skaluje się efektywniej niż wzrost √𝑁 EdgeRAG.

Pod względem dokładności, LEANN osiąga lepsze wyniki w większości testowanych zbiorów danych. Jedynie w przypadku GPQA, rozbieżność w rozkładzie danych ogranicza jego skuteczność. Podobnie, na HotpotQA, jednokrokowa konfiguracja wyszukiwania ogranicza wzrost dokładności, ponieważ zbiór danych wymaga wielokrotnego wnioskowania.

Przyszłość osobistego AI

LEANN stanowi obiecujący krok w kierunku demokratyzacji osobistego AI, umożliwiając wdrażanie zaawansowanych modeli na urządzeniach o ograniczonych zasobach. Redukcja zapotrzebowania na przestrzeń dyskową otwiera nowe możliwości dla aplikacji działających na krawędzi sieci, takich jak inteligentne systemy rekomendacji, chatboty i narzędzia do analizy danych.

Mimo swoich zalet, LEANN ma pewne ograniczenia, takie jak wysokie szczytowe zużycie pamięci podczas tworzenia indeksu. Można to rozwiązać poprzez wstępne klastrowanie lub inne techniki optymalizacyjne. Przyszłe prace mogą skupić się na dalszej redukcji opóźnień i poprawie responsywności, co otworzy drogę do szerszego zastosowania LEANN w środowiskach o ograniczonych zasobach.