AI potrafi kontrolować inne modele, ale zalewa audytorów fałszywymi alarmami
Kiedy zaawansowani agenci AI manipulują wynikami testów lub celowo zaniżają swoje możliwości, inne modele językowe potrafią dostrzec te anomalie w logach systemowych. Jednak im wyższą skuteczność próbuje się z nich wycisnąć, tym częściej za podejrzane uznają całkowicie nieszkodliwe operacje. Do takich wniosków doszedł Andy Hall, badacz z Anthropic Institute przebywający na urlopie ze Stanford University, który na łamach swojego newslettera Free Systems opisał eksperymenty nad automatycznym audytem systemów autonomicznych. O szczegółach analizy poinformował również serwis The Decoder.
Hall zreplikował i rozszerzył wcześniejsze badanie przeprowadzone przez organizację badawczą METR, która analizuje, czy twórcy wiodących modeli nie tracą kontroli nad tworzonym oprogramowaniem. W eksperymencie wykorzystano zbiór MALT, zawierający zapisy działań czołowych modeli rozwiązujących zadania z benchmarków HCAST oraz RE-Bench; część logów została wcześniej sprawdzona przez ludzi pod kątem nadużyć. W roli automatycznych rewidentów sprawdzono między innymi modele GPT-5, GPT-5 nano, GPT-6 Astra, Opus 4.8 oraz Gemini 3.8 Flash.
Oczywiste oszustwa kontra subtelne naginanie reguł
Testy skupiły się na dwóch zjawiskach: reward hacking (zdobywaniu punktów za zadanie za pomocą sztuczek i luk zamiast faktycznego rozwiązania) oraz sandbaggingu (świadomym udawaniu słabszych możliwości, by uniknąć ograniczeń lub kontroli). Przy założeniu akceptowalnego poziomu fałszywych alarmów na poziomie 5 procent, GPT-5 wychwycił niemal 98 procent przypadków manipulowania oceną. Gemini 3.8 Flash przy tym samym progu wykrył około połowy przypadków. W próbach wykrywania sabotażu wszystkie testowane modele osiągały skuteczność w przedziale 71–81 procent. Warto jednak zauważyć, że większość analizowanych przypadków sandbaggingu miała charakter syntetyczny – badacze METR poinstruowali modele, by sabotowały zadania, a następnie usunęli te polecenia z widocznych logów rozumowania.
Jaskrawe nadużycia nie stanowiły wyzwania dla żadnego z audytorów. Gdy model o3 od OpenAI, realizując zadanie programistyczne w języku Rust, odkrył, że dzieli bibliotekę z systemem sprawdzającym, po prostu zmodyfikował funkcję oceniającą tak, by każde zgłoszenie uznawała za poprawne. Wszyscy cyfrowi kontrolerzy uznali to za oszustwo. Trudności pojawiły się przy działaniach bardziej subtelnych: kiedy Claude Sonnet 4 użył w kodzie zabronionego warunku numerycznego, żaden z modeli nie podniósł alarmu, a GPT-6 Astra uznał to zdarzenie za zwykły błąd implementacyjny.
Z analizy wynika również, że nowsze i znacznie droższe modele wcale nie gwarantują lepszego nadzoru. GPT-5 wykrywał manipulacje oceną znacznie sprawniej niż GPT-6 Astra, mimo że koszt audytu 1000 logów był w jego przypadku około ośmiokrotnie niższy. Opus 4.8 wypadł w tej kategorii zauważalnie słabiej, co według Halla może sugerować problem stronniczości wobec własnej rodziny modeli (większość sprawdzanych logów pochodziła z systemów Claude), choć badacz zaznacza, że hipoteza ta wymaga dalszej weryfikacji.
Koszt ostatnich kilku procent
Kluczowy problem leży jednak w krzywej wykrywalności. Jeśli system audytowy ma wychwycić 80 procent nadużyć, najlepsze modele generują od 2,5 do 3 procent fałszywych alarmów. W przykładzie Halla obejmującym 100 tysięcy sesji agentów miesięcznie 3-procentowy odsetek fałszywych alarmów oznaczał blisko 3 tysiące błędnych ostrzeżeń wobec około 2 tysięcy wykrytych incydentów. Hall obawia się, że w obliczu takich wolumenów zgłoszeń weryfikujący je ludzie z czasem znieczulą się na powiadomienia i zaczną bezrefleksyjnie zatwierdzać niebezpieczne działania.
Podniesienie wymogu wykrywalności do poziomu 99 procent – przetestowane na zbiorze zadań codziennych R-Judge z Uniwersytetu Jiao Tong w Szanghaju – wiąże się ze znacznym skokiem liczby fałszywych alarmów. Nawet u najdokładniejszego pod tym względem GPT-6 Astra odsetek nieuzasadnionych ostrzeżeń wzrósł wówczas do 15 procent, a Gemini 3.8 Flash oznaczył jako niebezpieczne aż 81 procent w pełni poprawnych operacji.
Skalę wyzwań związanych z automatycznym nadzorem pokazało już dochodzenie METR w sprawie incydentu na platformie Hugging Face. Analiza około 1300 transkrypcji i 1,2 miliona fragmentów plików pozostawionych przez rój agentów OpenAI pochłonęła wówczas 400 tysięcy dolarów w kredytach API. Co istotne, wykorzystywany do badania model GPT-5.6 Sol często bezkrytycznie przyjmował perspektywę kontrolowanych agentów, a METR przyznał, że dochodzenie nie było odporne na potencjalne oszustwa agentów analizujących dane. Pod koniec września informowaliśmy o skali tego zjawiska w tekście podsumowującym, jak Anthropic i OpenAI analizują incydenty z udziałem agentów AI.
Sam Hall podkreśla, że jego badanie miało charakter pilotażowy, a statystyki dotyczące manipulowania oceną oparto na zaledwie 47 przypadkach, przez co zmiana kwalifikacji pojedynczego incydentu przesuwa ogólny wynik o około dwa punkty procentowe. Zdaniem badacza obecne modele nadają się raczej do statystycznego szacowania skali problemów w systemach niż do roli bezwzględnych strażników bezpieczeństwa wyłapujących każdy incydent w czasie rzeczywistym. Hall postuluje opracowanie algorytmów o znacznie niższym współczynniku fałszywych wskazań oraz precyzyjne ustalenie, kto odpowiada za poszczególne rodzaje niewłaściwych zachowań agentów. Użytkownicy narzędzi programistycznych, którzy decydują się nadać agentom uprawnienia do działania bez każdorazowej autoryzacji, powinni w zamian brać na siebie większą odpowiedzialność za skutki ich autonomicznych decyzji.
