Model rekurencyjny (RLM): Przełom w przetwarzaniu długich kontekstów przez duże modele językowe

W ewolucji dużych modeli językowych (LLM) jednym z fundamentalnych wyzwań pozostaje efektywne zarządzanie rozległymi kontekstami wejściowymi. Tradycyjne podejścia często prowadzą do kompromisów między długością kontekstu, dokładnością a kosztami obliczeniowymi. Nowa koncepcja modeli rekurencyjnych (RLM), której podstawy opracowano na MIT, a następnie rozwinięto przez Prime Intellect w ich środowisku RLMEnv, stanowi obiecujące rozwiązanie tej kwestii.

Zamiast przetwarzać cały, obszerny prompt w jednej operacji, RLM traktują go jako zewnętrzne środowisko. Model, działając w środowisku REPL (Read-Eval-Print Loop) w Pythonie, dynamicznie decyduje, jak eksplorować i przetwarzać poszczególne fragmenty danych. Podstawowy model (np. GPT-5) nie widzi bezpośrednio całego ciągu wejściowego. Otrzymuje za to systemowy prompt z instrukcjami, jak odczytywać fragmenty zmiennych, tworzyć funkcje pomocnicze, wywoływać podrzędne instancje LLM i łączyć wyniki. Taka architektura zasadniczo zmienia problem obsługi długiego kontekstu w problem syntezy programu, co uniezależnia rozmiar prompta od okna kontekstowego modelu.

Mechanika działania i wydajność

Środowisko RLM, zazwyczaj napisane w Pythonie, udostępnia narzędzia takie jak cięcie ciągów, wyszukiwanie za pomocą wyrażeń regularnych oraz funkcje pomocnicze, np. llm_query, które pozwalają na wywołanie mniejszej instancji modelu, jak GPT-5-mini. Model główny pisze kod, który wykorzystuje te narzędzia do skanowania, partycjonowania i podsumowywania zewnętrznej zmiennej kontekstowej. Może także przechowywać pośrednie wyniki i krok po kroku konstruować ostateczną odpowiedź. Ta zdolność do adaptacyjnego przetwarzania znacząco wykracza poza możliwości konwencjonalnych LLM.

Badania przeprowadzone na czterech benchmarkach zróżnicowanych pod względem struktury obliczeniowej – S-NIAH, BrowseComp-Plus, OOLONG i OOLONG Pairs – ukazują znaczący wzrost dokładności RLM w porównaniu z bezpośrednimi wywołaniami LLM i innymi agentami długiego kontekstu. Na przykład, w zadaniach dotyczących odpowiedzi na pytania w długich dokumentach (CodeQA), RLM osiągnęły 62,00% dokładności dla GPT-5, podczas gdy model bazowy uzyskał 24,00%, a agenci podsumowujący 41,33%. Szczególnie imponujące wyniki odnotowano w najbardziej wymagających scenariuszach, takich jak OOLONG Pairs, gdzie RLM dla GPT-5 osiągnęły F1 równe 58.00, a model bazowy zaledwie 0.04.

Skuteczne rozszerzenie kontekstu i optymalizacja kosztów

Benchmark BrowseComp-Plus, obejmujący korpus od 6 milionów do 11 milionów tokenów, dwurzędowo przewyższa 272 tysiące tokenów okna kontekstowego GPT-5. Nawet w tak ekstremalnych warunkach, RLM z GPT-5 utrzymuje wysoką wydajność, osiągając około 91.33% dokładności. Istotnym aspektem jest też efektywność kosztowa: średni koszt zapytania w RLM wynosi około 0,99 USD, podczas gdy hipotetyczny model przetwarzający cały kontekst bezpośrednio mógłby kosztować od 1,50 USD do 2,75 USD.

Analiza trajektorii działania RLM ujawnia ciekawe wzorce. Model często rozpoczyna od etapu podglądu, analizując kilka tysięcy początkowych znaków kontekstu. Następnie, używając filtrowania podobnego do grep, zawęża wyniki za pomocą wyrażeń regularnych lub wyszukiwania słów kluczowych. W bardziej złożonych zapytaniach, RLM dzieli kontekst na fragmenty i rekurencyjnie wywołuje kolejne instancje LLM do etykietowania lub ekstrakcji danych, a potem programowo agreguje wyniki. To pozwala także na ominięcie ograniczeń długości wyjściowej bazowego modelu poprzez przechowywanie częściowych wyników w zmiennych.

RLM w praktyce: RLMEnv i INTELLECT-3

Zespół Prime Intellect przeniósł koncepcję RLM do konkretnego środowiska, RLMEnv, które jest zintegrowane z ich stosem weryfikatorów i środowiskami. W ich implementacji główny RLM posiada jedynie REPL w Pythonie, a sub-LLM otrzymują dostęp do bardziej zasobożernych narzędzi, takich jak wyszukiwanie w sieci czy dostęp do plików. REPL udostępnia funkcję llm_batch, co umożliwia rozłożenie wielu podzapytań równolegle, a zmienna answer służy do zapisania i oznaczenia ostatecznego rozwiązania. Takie podejście izoluje zasobożerne operacje narzędziowe od głównego kontekstu, pozwalając RLM delegować te zadania podmodelom.

Implementacja Prime Intellect została przetestowana w czterech środowiskach: DeepDive (badanie sieci), Math Python (problemy matematyczne), Oolong (benchmark długiego kontekstu) oraz Verbatim Copy (dokładne odwzorowanie złożonych ciągów). Zarówno GPT-5-mini, jak i model INTELLECT-3-MoE, wykazały znaczące korzyści ze struktury RLM w zakresie wskaźnika sukcesu i odporności na bardzo długie konteksty, szczególnie gdy wyjścia narzędziowe mogłyby zalać kontekst modelu bazowego.

Przyszłość i optymalizacja

Zarówno twórcy koncepcji RLM, jak i zespół Prime Intellect, podkreślają, że obecne implementacje nie są w pełni zoptymalizowane. Wywołania RLM są synchroniczne, głębokość rekurencji jest ograniczona, a rozkłady kosztów mają długie ogony z powodu bardzo długich trajektorii. Prawdziwa szansa leży w połączeniu architektury RLM ze wzmocnionym uczeniem maszynowym, co pozwoli modelom na lepsze chunkowanie, rekurencję i polityki użycia narzędzi. Jeśli to nastąpi, RLM będą stanowić fundament dla bardziej zaawansowanych agentów długiego horyzontu, zdolnych do przetwarzania środowisk liczących 10 milionów tokenów i więcej, bez utraty spójności kontekstu.

Kluczowe wnioski

• RLM redefiniują długi kontekst jako zmienną środowiskową: Modele traktują prompt jako zewnętrzny ciąg znaków w środowisku REPL, który jest inspicjowany i przetwarzany przez kod, zamiast bezpośrednio wchłaniać tokeny do kontekstu transformatora.
• Rekursja w czasie wnioskowania rozszerza kontekst do ponad 10 milionów tokenów: RLM pozwalają modelowi głównemu rekurencyjnie wywoływać sub-LLM na wybranych fragmentach kontekstu, co umożliwia efektywne przetwarzanie promptów o długości około dwóch rzędów wielkości większej niż okno kontekstowe modelu bazowego, osiągając ponad 10 milionów tokenów w zadaniach typu BrowseComp-Plus.
• RLM przewyższają typowe metody radzenia sobie z długim kontekstem w trudnych benchmarkach: W S-NIAH, BrowseComp-Plus, OOLONG i OOLONG Pairs, warianty RLM oparte na GPT-5 i Qwen3-Coder zwiększają dokładność i współczynnik F1 w porównaniu z bezpośrednimi wywołaniami modeli, agentami wyszukiwania (takimi jak CodeAct) i agentami podsumowującymi, przy zachowaniu porównywalnych lub niższych kosztów na zapytanie.
• Warianty tylko z REPL już pomagają, rekurencja jest kluczowa dla zadań kwadratowych: Ablacja, która udostępnia tylko REPL bez rekurencyjnych sub-wywołań, nadal poprawia wydajność w niektórych zadaniach, co pokazuje wartość odciążenia kontekstu do środowiska, ale pełne RLM są wymagane do osiągnięcia dużych zysków w scenariuszach o dużej gęstości informacji, takich jak OOLONG Pairs.
• Prime Intellect operacjonalizuje RLM za pośrednictwem RLMEnv i INTELLECT-3: Zespół Prime Intellect implementuje paradygmat RLM jako RLMEnv, gdzie główny LM kontroluje izolowany REPL w Pythonie, wywołuje narzędzia za pomocą sub-LM i zapisuje końcowy wynik do zmiennej odpowiedzi, zgłaszając stałe zyski w środowiskach DeepDive, Math Python, Oolong i Verbatim Copy z modelami takimi jak INTELLECT-3.