Kiedy system zawodny, a kiedy niezawodny? Problem oceny modeli językowych

W miarę jak modele językowe stają się coraz bardziej złożone, rośnie potrzeba efektywnych metod ich oceny. Jednym z rozwiązań, które zyskuje popularność, jest wykorzystanie innych modeli językowych jako sędziów – tak zwane LLM-as-a-Judge (LAJ). Idea jest prosta: zamiast polegać wyłącznie na ludzkich oceniaczach, wykorzystujemy AI do oceny jakości generowanych treści. Ale czy to naprawdę działa?

Sędzia i co z tego wynika?

Na pierwszy rzut oka, pomysł wydaje się obiecujący. LLM-sędziowie mogą pracować szybciej i taniej niż ludzie. Problem pojawia się, gdy zagłębimy się w szczegóły, a te okazują się zaskakująco skomplikowane. Badania pokazują, że oceny wystawiane przez LLM-y są podatne na różnego rodzaju zakłócenia i błędy. Jednym z nich jest tak zwany „bias pozycji” – identyczne odpowiedzi mogą być oceniane różnie w zależności od tego, w jakiej kolejności są prezentowane sędziemu. Inny problem stanowi werbalizm – dłuższe odpowiedzi często otrzymują wyższe noty, niezależnie od ich faktycznej jakości. Sędziowie preferują także teksty zbliżone do własnego stylu.

Fakty kontra opinie

Jeszcze bardziej niepokojące są wyniki badań porównujących oceny LLM-ów z ocenami wystawianymi przez ludzi. W niektórych przypadkach korelacja jest niska lub wręcz niespójna, zwłaszcza jeśli chodzi o ocenę faktów w dłuższych tekstach. Z drugiej strony, w węższych dziedzinach, z precyzyjnie określonymi kryteriami i starannie zaprojektowanymi zapytaniami, zgoda między AI a ludźmi może być zadowalająca. Kluczowe jest tutaj jednak słowo „może”.

Ataki na sędziego

Kolejnym wyzwaniem jest podatność LLM-sędziów na manipulacje. Badania pokazują, że istnieją sposoby na „oszukanie” systemu i zawyżenie ocen poprzez specjalnie spreparowane zapytania. Co gorsza, te ataki mogą być uniwersalne i przenoszalne, co oznacza, że raz opracowana metoda może działać na różnych modelach językowych. Obrona przed takimi atakami jest możliwa, ale daleka od doskonałości.

Lepiej absolutnie czy parami?

Wiele osób uważa, że ocena parami (porównywanie dwóch odpowiedzi i wybieranie lepszej) jest bezpieczniejsza niż ocena absolutna (przypisywanie każdej odpowiedzi oceny w skali). Najnowsze badania pokazują, że wybór protokołu sam w sobie wprowadza dodatkowe artefakty. Sędziowie parami mogą być bardziej podatni na tak zwane dystraktory, które modele uczą się wykorzystywać. Oceny absolutne unikają z kolei problemu „biasu pozycji”, ale cierpią na problem dryfu skali.

Czy ocenianie nie demoralizuje?

Pojawiają się również innego rodzaju problemy: system oceniania może prowadzić – i prowadzi – do niepożądanych zachowań ze strony modeli językowych. Jeśli nagradzane jest tylko udzielanie odpowiedzi, nawet tych nieprawdziwych, modele mogą być skłonne do generowania pewnych, ale nieprawdziwych informacji. Między innymi stąd halucynacje modeli. Dlatego coraz częściej proponuje się systemy oceniania, które uwzględniają również niepewność i ostrożność.

Gdzie szukać pewności?

W przypadku systemów produkcyjnych, w których poszczególne kroki (pobieranie informacji, routing, ranking) są deterministyczne, lepiej jest skupić się na metrykach komponentów. Pozwalają one na precyzyjną ocenę i śledzenie regresji, niezależnie od LLM-sędziego. Branżowe standardy zalecają oddzielenie pobierania informacji od generowania i powiązanie metryk podsystemów z celami końcowymi.

Obserwuj i wyciągaj wnioski

W praktyce coraz częściej stosuje się metodę „trace-first, outcome-linked evaluation”. Polega ona na rejestrowaniu całego procesu przetwarzania (wejście, pobrane fragmenty, wywołania narzędzi, zapytania, odpowiedzi) i przypisywaniu do niego etykiet opisujących wynik (rozwiązane/nierozwiązane, skarga/brak skargi). Pozwala to na analizę danych, kontrolowane eksperymenty i grupowanie błędów, niezależnie od tego, czy używamy LLM-sędziego, czy nie.

Werdykt

Czy to oznacza, że LLM-sędziowie są bezużyteczni? Niekoniecznie. W pewnych, wąsko zdefiniowanych zadaniach, z precyzyjnymi kryteriami i krótkimi odpowiedziami, mogą być całkiem niezawodni. Kluczem jest jednak świadomość ich ograniczeń i potencjalnych błędów.

Podsumowując, LLM-as-a-Judge to obiecujące, ale wciąż niedoskonałe narzędzie. Zanim zaufamy mu w pełni, musimy lepiej zrozumieć jego słabe strony i opracować skuteczne metody obrony przed manipulacjami. Artykuł ten nie ma na celu odrzucenia koncepcji LLM-as-a-Judge, ale podkreśla niuanse, ograniczenia i trwające debaty dotyczące jego niezawodności i solidności. Intencją nie jest odrzucenie jego użycia, ale przedstawienie otwartych pytań, które wymagają dalszej eksploracji.