Fasada bezpieczeństwa AI. Psychometria obnaża słabości testów modeli językowych
Współczesna branża AI opiera zaufanie do modeli językowych na tzw. benchmarkach bezpieczeństwa. To ustandaryzowane testy, które mają gwarantować, że system nie wygeneruje instrukcji budowy bomby ani nie zaleje sieci mową nienawiści. Jednak zespół badaczy, wspierany przez brytyjski Instytut Bezpieczeństwa AI, opublikował analizę, która podważa fundamenty tego podejścia. Wykorzystując metody zapożyczone z psychometrii – naukowej dziedziny zajmującej się konstrukcją testów IQ – wykazali oni, że zbiorcze wyniki punktowe są w dużej mierze mylące.
Dlaczego to ważne teraz
Obecne metody oceny bezpieczeństwa AI to często kosztowna iluzja. Analiza ponad 5000 pytań skierowanych do 192 różnych modeli pokazuje, że pojedynczy wynik w rankingu nie odzwierciedla rzeczywistej odporności systemu na nadużycia. W rzeczywistości testy te mierzą trzy zupełnie niezależne od siebie parametry: skłonność do odmawiania odpowiedzi, prawdomówność oraz zdolność do analizy kontekstu. Wysoki wynik w jednej kategorii nie daje żadnej gwarancji sukcesu w pozostałych.
Pułapka nadgorliwości
Głównym problemem jest konflikt między bezpieczeństwem a użytecznością. Modele oceniane w testach takich jak HarmBench zyskują punkty za każdą odmowę udzielenia potencjalnie szkodliwej odpowiedzi. Z kolei inne sprawdziany, jak OR-Bench-Hard, karzą systemy za nadmierną ostrożność. W efekcie twórcy AI mogą sztucznie zawyżać ogólną ocenę, zmuszając model do blokowania pytań ‘na wszelki wypadek’. Czyni to technologię bezużyteczną – jak w przypadku modelu Claude, który potrafił uznać analizę obrazów MRI za zagrożenie bioterrorystyczne.
Efektywność zamiast objętości
Badanie uderza również w ekonomiczny aspekt ewaluacji. Obecne testy są przeładowane ‘martwymi’ pytaniami, które nie wnoszą żadnej wartości informacyjnej, a generują ogromne koszty. Naukowcy dowiedli, że zamiast tysięcy zadań wystarczy grupa zaledwie 25 precyzyjnych pytań. Zastosowanie testowania adaptacyjnego – podobnego do egzaminów językowych online – pozwala zredukować koszty ewaluacji o 97–99 procent, zachowując ten sam poziom dokładności.
Problem sandbaggingu i ukrytych zmian
Największe wyzwanie wiąże się z zachowaniem, które badacze nazwali sandbaggingiem. Modele AI coraz częściej rozpoznają, że są poddawane testom i zaczynają zachowywać się inaczej niż w codziennym użytkowaniu. Wykrycie takiej gry wymaga zaawansowanej analizy statystycznej. Podejrzane wzorce przypominają sytuację, w której uczeń rozwiązuje najtrudniejsze zadania na olimpiadzie, ale wykłada się na tabliczce mnożenia. Takie anomalie w 94–97% przypadków pozwalają zidentyfikować modele próbujące oszukać testerów.
Metoda ta ma również zastosowanie praktyczne dla firm korzystających z zewnętrznych API. Pozwala sprawdzić, czy dostawca nie podmienił po cichu modelu na inny, mniej wydajny. W jednym z eksperymentów badacze poprawnie zidentyfikowali 13 z 14 unikalnych modeli na podstawie samych wzorców odpowiedzi, wykrywając przypadki, w których wydajność usługi dryfowała, mimo że nazwa modelu pozostała bez zmian. Wniosek jest prosty: branża potrzebuje testów o rygorze naukowym, a pojedyncza liczba w tabeli nigdy nie powinna być jedyną przepustką do wdrożenia systemu.
