Yandex prezentuje ARGUS: przełom w systemach rekomendacji opartych o transformery

Systemy rekomendacji od lat borykają się z problemami krótkotrwałej pamięci, ograniczonej skalowalności i trudnościami w adaptacji do zmieniających się zachowań użytkowników. Tradycyjne architektury skracają historię interakcji, pomijając miesiące lub lata danych behawioralnych. Yandex twierdzi, że znalazł rozwiązanie.

Do tej pory tylko nieliczne firmy z sukcesem przeskalowały transformery rekomendacji poza eksperymentalne ustawienia. Google, Netflix i Meta poczyniły znaczne inwestycje w tej dziedzinie, prezentując rozwiązania takie jak YouTubeDNN, PinnerFormer i Generative Recommenders. Teraz dołącza do nich Yandex z ARGUS.

ARGUS (AutoRegressive Generative User Sequential modeling) to framework oparty o transformery, który modeluje całe osie czasu zachowań użytkowników, odkrywając zarówno oczywiste, jak i ukryte korelacje w ich aktywności. Ta długoterminowa perspektywa pozwala ARGUS uchwycić ewoluujące intencje i cykliczne wzorce zachowań z większą precyzją. Przykładowo, zamiast reagować tylko na ostatni zakup, model uczy się przewidywać sezonowe preferencje – np. automatycznie sugerując ulubioną markę piłek tenisowych wraz z nadejściem lata, bez konieczności powtarzania przez użytkownika tych samych sygnałów rok po roku.

Kluczowe innowacje w ARGUS:

• Pre-training z podwójnym celem: ARGUS rozkłada uczenie autoregresywne na dwa podzadania – przewidywanie kolejnego elementu i przewidywanie feedbacku. To połączenie poprawia zarówno imitację historycznych zachowań systemu, jak i modelowanie prawdziwych preferencji użytkowników.
• Skalowalne enkodery transformacji: Modele skalują się od 3,2 milionów do 1 miliarda parametrów, z zauważalną poprawą wydajności we wszystkich metrykach. Przy skali miliarda parametrów, wzrost dokładności parzystej wzrósł o 2,66%, co demonstruje pojawienie się prawa skalowania dla transformatorów rekomendacji.
• Rozszerzone modelowanie kontekstu: ARGUS obsługuje historie użytkowników o długości do 8192 interakcji w jednym przebiegu, umożliwiając personalizację na podstawie miesięcy zachowań, a nie tylko ostatnich kilku kliknięć.
• Efektywne dostrajanie: Dwukolumnowa architektura umożliwia obliczanie offline embeddingów i skalowalne wdrażanie, zmniejszając koszt wnioskowania w stosunku do wcześniejszych modeli online, które uwzględniały cel lub poziom wyświetleń.

ARGUS został już wdrożony na dużą skalę na platformie muzycznej Yandex, obsługując miliony użytkowników. W testach A/B system osiągnął:

• +2,26% wzrost całkowitego czasu słuchania (TLT)
• +6,37% wzrost prawdopodobieństwa polubienia

Według Yandex są to największe wzrosty jakości w historii platformy dla modelu rekomendacji opartego na uczeniu głębokim.

Badacze z Yandex planują rozszerzyć ARGUS o zadania rekomendacji w czasie rzeczywistym, zbadać inżynierię cech dla rankingu parzystego oraz dostosować framework do domen o wysokiej kardynalności, takich jak duże platformy e-commerce i platformy wideo. Zdolność do skalowania modelowania sekwencji użytkowników z architekturami transformatorowymi sugeruje, że systemy rekomendacji są gotowe podążać podobną ścieżką skalowania, jak przetwarzanie języka naturalnego.

Wraz z ARGUS, Yandex umacnia swoją pozycję jako jeden z liderów w dziedzinie najnowocześniejszych systemów rekomendacji. Dzieląc się swoimi osiągnięciami, firma nie tylko poprawia personalizację we własnych usługach, ale także przyspiesza ewolucję technologii rekomendacji dla całej branży.