Koniec z nudnym przepisywaniem. ByteDance znajduje lepszy sposób na długi kontekst w AI

Większość laboratoriów AI pilnie strzeże tajemnicy tego, jak ich modele uczą się zarządzać ogromnymi ilościami danych. Choć giganci tacy jak Google chwalą się oknami kontekstowymi sięgającymi 1 miliona tokenów w Gemini API, rzadko dowiadujemy się, jakie dane służą do ich kalibracji. Badacze z ByteDance Seed oraz Uniwersytetu Nauki i Technologii w Hongkongu (HKUST) rzucają nowe światło na ten proces, podważając dotychczasowe zasady trenowania wielomodalnych modeli językowych (LMM).

Dlaczego to ważne teraz?

Wyścig o dominację w AI przeniósł się z prostego generowania tekstu na efektywne zarządzanie gigantycznymi zbiorami danych. ByteDance nie zamierza zostawać w tyle – firma zaplanowała na 2026 rok wydatki rzędu 100 miliardów juanów (ponad 50 mld zł) na zakupy układów NVIDIA H200. W świecie, gdzie deweloperzy coraz częściej narzekają na zjawisko „context pollution” (spadek jakości odpowiedzi po przekroczeniu 30 tys. tokenów), opracowanie MMProLong jest sygnałem, że zamiast dorzucać kolejne karty graficzne, warto zmienić sposób, w jaki karmimy algorytmy informacjami.

OCR to ślepa uliczka

Tradycyjne podejście zakładało, że aby model nauczył się rozumieć długie dokumenty PDF czy wielogodzinne nagrania wideo, powinien trenować się na zadaniach rozpoznawania tekstu (OCR). Logika wydawała się prosta: jeśli sztuczna inteligencja potrafi przepisać każdą stronę z 100-arkuszowego pliku, to znaczy, że panuje nad jego zawartością. Wyniki analizy ByteDance są bezlitosne – czyste przepisywanie tekstu nie tylko nie pomaga w nawigowaniu po długim dokumencie, ale wręcz pogarsza wydajność modelu.

Badacze wykazali, że kluczem do sukcesu jest interakcja. Zamiast zmuszać model do pasywnego transkrybowania, naukowcy wykorzystali potok syntezy danych, w którym osobny model generuje pary pytań i odpowiedzi osadzone w konkretnych sekcjach dokumentów. W ten sposób powstał MMProLong – model oparty na architekturze Qwen2.5-VL, który mimo mniejszej skali deklasuje znacznie większych konkurentów, takich jak Gemma3-27B czy InternVL3-38B.

Przełom w nawigacji: Liczy się cel, nie objętość

Głównym wnioskiem płynącym z eksperymentów jest stwierdzenie, że AI uczy się efektywnie tylko wtedy, gdy ma konkretny cel informacyjny. Zadawanie pytań zmusza model do aktywnego filtrowania szumu i lokalizowania konkretnych fragmentów w morzu danych. Wąskim gardłem w dzisiejszych modelach nie jest bowiem umiejętność rozumowania nad danymi, lecz sam proces odnajdywania właściwego akapitu – tzw. retrieval.

Badanie przyniosło kilka niespodzianek. Okazuje się, że karmienie modelu wyłącznie ekstremalnie długimi przykładami jest mniej skuteczne niż stosowanie zróżnicowanego miksu krótkich i długich tekstów. Ponadto, w przeciwieństwie do modeli czysto tekstowych, wielomodalne LMM trenowane na długich danych nie tracą sprawności w krótkich zadaniach. Format instrukcji (pytanie-odpowiedź) jest na tyle uniwersalny, że model zachowuje elastyczność niezależnie od objętości wejścia.

Efektywność zamiast brute force

Podejście ByteDance stanowi kontrast dla metod stosowanych przez DeepSeek. Podczas gdy inni skupiają się na architektonicznych sztuczkach, takich jak agresywna kompresja wizualna, zespół Seed stawia na optymalizację samej jakości danych treningowych. Skuteczność tej metody potwierdza test „igły w stogu siana”, gdzie MMProLong uzyskał wynik o niemal 30 punktów wyższy niż model bazowy. To kontynuacja ofensywy firmy w stronę systemów otwartych – jak pisał serwis ITReseller o modelu Seed-OSS-36B: „Modele udostępniono na licencji Apache-2.0, co oznacza, że każdy może z nich korzystać, modyfikować je i budować na ich bazie własne produkty całkowicie za darmo”.

Umiejętności nabyte podczas analizy dokumentów płynnie przenoszą się na inne media. Mimo że MMProLong nie był specjalistycznie trenowany pod kątem wideo, wykazuje lepsze zrozumienie długich materiałów filmowych. To dowód na to, że radzenie sobie z długim kontekstem to uniwersalna umiejętność wyszukiwania informacji. Można ją wypracować przy skromniejszym budżecie obliczeniowym, jeśli porzuci się archaiczne metody nauczania na rzecz inteligentnej selekcji zadań.