REST: Test odporności wielkich modeli rozumujących na obciążenia

Współczesne duże modele rozumujące (LRM) osiągnęły imponujące wyniki w rozwiązywaniu złożonych problemów w takich dziedzinach, jak matematyka, kodowanie czy nauki ścisłe. Jednak dotychczasowe podejścia do ich oceny, koncentrujące się głównie na testach pojedynczych pytań, zaczynają pokazywać swoje ograniczenia. W odpowiedzi na to wyzwanie, zespół badaczy z Tsinghua University, OpenDataLab, Shanghai AI Laboratory i Renmin University opracował REST (Reasoning Evaluation through Simultaneous Testing) – innowacyjny framework do stres-testów, który ma za zadanie zmierzyć odporność LRM na wielozadaniowość i lepiej odzwierciedlić ich zdolności rozumowania w złożonych, rzeczywistych kontekstach.

Dlaczego obecne metody oceny LRM są niewystarczające?

Większość bieżących benchmarków, takich jak GSM8K czy MATH, ocenia LRM poprzez zadawanie jednego pytania naraz. Choć metoda ta jest skuteczna na wczesnych etapach rozwoju modelu, ma dwie poważne wady. Po pierwsze, maleje ich moc dyskryminacyjna. Wiele zaawansowanych LRM osiąga obecnie niemal perfekcyjne wyniki na popularnych benchmarkach, na przykład DeepSeek-R1 osiąga 97% dokładności na MATH500. Takie nasycenie wyników utrudnia rozróżnienie prawdziwych ulepszeń w modelach, co wymusza kosztowne i ciągłe tworzenie trudniejszych zbiorów danych. Po drugie, brakuje oceny w kontekstach wielozadaniowych. Zastosowania LRM w świecie rzeczywistym – jak korepetycje edukacyjne, wsparcie techniczne czy asystenci AI – wymagają rozumowania w oparciu o wiele, potencjalnie kolidujących ze sobą pytań jednocześnie. Testy pojedynczych pytań nie oddają tych dynamicznych, wieloproblemowych wyzwań, które odzwierciedlają prawdziwe obciążenie poznawcze i wytrzymałość rozumowania.

Wychodząc naprzeciw tym wyzwaniom, REST został zaprojektowany, aby jednocześnie testować LRM na wielu pytaniach zgrupowanych w jednym monicie. Framework ten przebudowuje istniejące benchmarki przez łączenie wielu pytań w pojedynczy prompt, jednocześnie dostosowując parametr poziomu stresu, który kontroluje liczbę pytań prezentowanych jednocześnie. Ocena w REST obejmuje kluczowe kompetencje rozumowania, takie jak alokacja priorytetów kontekstowych, odporność na zakłócenia między problemami oraz dynamiczne zarządzanie obciążeniem poznawczym. Co istotne, framework został przetestowany na 34 zaawansowanych LRM, w zakresie od 1,5 miliarda do 671 miliardów parametrów, na 7 różnych benchmarkach o zróżnicowanym poziomie trudności – od prostego GSM8K do wymagającego AIME i GPQA.

Kluczowe wnioski z testów REST

Badania z wykorzystaniem REST ujawniają kilka przełomowych odkryć. Po pierwsze, widać znaczną degradację wydajności LRM pod wpływem stresu wieloproblemowego. Nawet zaawansowane modele, takie jak DeepSeek-R1, wykazują zauważalne spadki dokładności, gdy muszą przetwarzać wiele pytań jednocześnie. Na przykład, dokładność DeepSeek-R1 na wymagających benchmarkach, takich jak AIME24, spada o prawie 30% w warunkach REST w porównaniu do testów pojedynczych pytań. Wynik ten podważa wcześniejsze założenia, że duże modele językowe są z natury zdolne do bezwysiłkowego multitaskingu między problemami.

Po drugie, REST znacząco zwiększa moc dyskryminacyjną między podobnymi modelami. Modele takie jak R1-7B i R1-32B, osiągające zbliżone wyniki w testach pojedynczych pytań (93% i 94,6% na MATH500), pod wpływem REST drastycznie się różnicują. Dokładność R1-7B spada do 66,75%, podczas gdy R1-32B utrzymuje wysoką dokładność 88,97%, ujawniając znaczącą różnicę w wydajności wynoszącą 22%. Podobnie, REST ujawnia istotne różnice w zdolnościach do obsługi wielu problemów między modelami tej samej wielkości, takimi jak AReaL-boba-RL-7B i OpenThinker2-7B, które były maskowane przez oceny pojedynczych pytań.

Po trzecie, metody potrenowania (post-training) mogą nie gwarantować solidnego rozumowania wieloproblemowego. Modele dostrojone za pomocą uczenia ze wzmocnieniem lub nadzorowanego dostrajania na jednokrotnych zadaniach rozumowania często nie utrzymują swoich przewag w wielokrotnych scenariuszach REST. To zmusza do ponownego przemyślenia strategii treningowych w celu optymalizacji odporności rozumowania w realistycznych warunkach wielo-kontekstowych.

Wreszcie, znaczące jest odkrycie, że trening w trybie „long2short” poprawia wydajność pod obciążeniem. Modele trenowane z wykorzystaniem technik „long2short” – które zachęcają do zwięzłych i efektywnych łańcuchów rozumowania – utrzymują wyższą dokładność w warunkach REST. Sugeruje to obiecującą ścieżkę do projektowania modeli lepiej przystosowanych do jednoczesnego rozumowania wielozadaniowego.

Symulacja rzeczywistych wyzwań poznawczych

Zwiększając obciążenie poznawcze LRM poprzez jednoczesne prezentowanie problemów, REST symuluje rzeczywiste wymagania, gdzie systemy rozumujące muszą dynamicznie priorytetyzować, unikać nadmiernego przetwarzania jednego problemu i być odporne na zakłócenia z równoległych zadań. Framework systematycznie analizuje również typy błędów, ujawniając typowe tryby awarii, takie jak pominięcie pytań, błędy w podsumowaniu czy błędy w logicznych lub obliczeniowych procesach rozumowania. Te niuanse są w dużej mierze niewidoczne w ocenach pojedynczych pytań.

RESET stanowi znaczący krok naprzód w ocenie dużych modeli rozumujących. Adresuje problem nasycenia benchmarków, odzwierciedla rzeczywiste zapotrzebowanie na wielozadaniowość i dostarcza wskazówek w rozwoju modeli, podkreślając znaczenie metod treningowych, takich jak Long2Short, w celu zmniejszenia nadmiernego myślenia i wspierania adaptacyjnego skupienia rozumowania. W efekcie, REST otwiera drogę do bardziej niezawodnego, solidnego i aplikacyjnie istotnego benchmarkingu systemów AI nowej generacji.