Ograniczenia osadzania wektorowego: DeepMind odkrywa fundamentalny problem w architekturze RAG

Systemy Retrieval-Augmented Generation (RAG), które zrewolucjonizowały wiele aplikacji AI, opierają się na gęstych modelach osadzania, mapujących zapytania i dokumenty do przestrzeni wektorowych o stałym wymiarze. Zespół Google DeepMind ujawnił jednak fundamentalne ograniczenie tej architektury, którego nie da się rozwiązać poprzez zwiększanie rozmiaru modeli ani lepsze metody treningowe.

Istotą problemu jest ograniczona pojemność reprezentacyjna osadzeń o stałym rozmiarze. Osadzenie o wymiarze *d* nie jest w stanie reprezentować wszystkich możliwych kombinacji istotnych dokumentów, gdy baza danych przekroczy pewną krytyczną wielkość. Wynika to z teorii złożoności komunikacyjnej i rangi znaku.

Przykładowo, dla osadzeń o rozmiarze 512, system RAG zaczyna zawodzić przy około 500 tysiącach dokumentów. Zwiększenie wymiaru do 1024 pozwala na obsługę około 4 milionów dokumentów. Nawet osadzenia o wymiarze 4096 mają teoretyczny limit około 250 milionów dokumentów. Co istotne, są to wartości optymalne, uzyskane w warunkach swobodnej optymalizacji osadzeń. W rzeczywistych zastosowaniach, z ograniczeniami językowymi, granice te są osiągane jeszcze szybciej.

Benchmark LIMIT – jak testować granice RAG?

Aby empirycznie przetestować to ograniczenie, zespół Google DeepMind stworzył LIMIT (Limitations of Embeddings in Information Retrieval), specjalny zestaw danych zaprojektowany do obciążania systemów osadzających. LIMIT występuje w dwóch konfiguracjach:

• LIMIT full (50 tys. dokumentów): W tym przypadku, nawet zaawansowane systemy osadzające mają problemy, a wskaźnik recall@100 często spada poniżej 20%.
• LIMIT small (46 dokumentów): Pomimo prostoty tego zestawu danych, modele nadal nie radzą sobie z zadaniem. Wyniki są bardzo różne, ale zawsze dalekie od niezawodnych.

Nawet tak mała liczba dokumentów okazuje się wyzwaniem dla obecnych architektur RAG. Dla porównania, BM25, klasyczny model leksykalny, nie ma tego problemu. Modele rzadkie operują w przestrzeniach o efektywnie nieograniczonej liczbie wymiarów, co pozwala im wychwytywać kombinacje, które są niedostępne dla gęstych osadzeń.

Dlaczego to jest ważne dla RAG?

Obecne implementacje RAG zakładają, że systemy osadzania mogą być skalowane w nieskończoność wraz z dodawaniem danych. Badania Google DeepMind pokazują, że to założenie jest błędne: rozmiar osadzenia naturalnie ogranicza możliwości wyszukiwania. Ma to wpływ na:

• Wyszukiwarki korporacyjne obsługujące miliony dokumentów.
• Systemy wykorzystujące złożone zapytania logiczne.
• Zadania wyszukiwania oparte na instrukcjach, gdzie zapytania dynamicznie definiują istotność.

Nawet zaawansowane benchmarki, takie jak MTEB, nie wychwytują tych ograniczeń, ponieważ testują tylko wąski wycinek kombinacji zapytaniowo-dokumentowych.

Alternatywy dla osadzania pojedynczego wektora

Skalowalne wyszukiwanie będzie wymagało odejścia od osadzania opartego na pojedynczym wektorze. Możliwe alternatywy to:

• Cross-Encodery: Osiągają doskonały wynik recall na benchmarku LIMIT poprzez bezpośrednie ocenianie par zapytanie-dokument, ale kosztem wysokich opóźnień.
• Modele multiwektorowe (np. ColBERT): Oferują bardziej ekspresywne wyszukiwanie poprzez przypisywanie wielu wektorów do sekwencji, co poprawia wyniki w zadaniach LIMIT.
• Modele rzadkie (BM25, TF-IDF, neuronowe systemy wyszukiwania rzadkiego): Skalują się lepiej w przestrzeniach o wysokiej wymiarowości, ale brakuje im generalizacji semantycznej.

Kluczowy wniosek jest taki, że potrzebna jest innowacja architektoniczna, a nie tylko większe systemy osadzania.

Podsumowanie

Analiza zespołu badawczego z Google DeepMind pokazuje, że gęste osadzenia, pomimo swoich sukcesów, są ograniczone matematycznym limitem: nie mogą wychwycić wszystkich możliwych kombinacji istotności, gdy rozmiar korpusu przekroczy limity związane z wymiarowością osadzenia. Benchmark LIMIT demonstruje to w sposób namacalny.

Klasyczne techniki, takie jak BM25, lub nowsze architektury, takie jak multiwektorowe systemy wyszukiwania i cross-encodery, pozostają niezbędne do budowania niezawodnych systemów wyszukiwania na dużą skalę.