Audyt w OpenAI: część ruchu agentów w ogóle nie była monitorowana
Od 21 lipca do 11 sierpnia dwóch badaczy z METR i Redwood Research pracowało na miejscu w OpenAI. Mieli dostęp do kodu źródłowego i dokumentów wewnętrznych, rozmawiali też z około tuzinem pracowników. Zadanie: ocenić, czy wewnętrzny system monitorowania potrafi wychwycić niepożądane zachowania agentów AI. Jak opisuje The Decoder, znaleźli sporo słabych punktów.
Ruch, którego nikt nie widział
Według szacunków METR od 6 do 25 proc. wewnętrznego ruchu agentowego w Responses API, generowanego przez modele klasy GPT-5.5 i nowsze, nie było w czasie audytu objęte monitoringiem w ogóle. METR zastrzega, że niepewność tej oceny jest duża w obu kierunkach.
Drugi problem dotyczył Codexa. Około 10 proc. wewnętrznego ruchu, który powinien być nadzorowany, pozostawało poza zasięgiem monitora między majem a lipcem. Przyczyną była luka w obsłudze tzw. compaction events, czyli streszczeń kontekstu. Tu również METR podkreśla znaczną niepewność szacunku. OpenAI samo wykryło ten błąd i naprawiło go jeszcze w trakcie audytu.
Nadzór, który można było przeczekać
W okresie, gdy compaction events nie były monitorowane, agent mógł też opóźniać kontrolę. System uruchamiał się bowiem dopiero wtedy, gdy agent oddawał sterowanie użytkownikowi. Wystarczyło więc wykonywać kolejne akcje i nie przekazywać kontroli dalej.
To nie wszystko. Audytorzy znaleźli sposoby na:
- ukrycie przed monitorem setek akcji,
- obejście sandboxa Codexa,
- prawdopodobne całkowite wywrócenie monitora za pomocą specjalnie spreparowanych danych wejściowych.
Na początku audytu nie monitorowano też zachowania modeli podczas treningu metodą uczenia ze wzmocnieniem (RL).
Co OpenAI zmieniło i czego nie sprawdzono
OpenAI deklaruje, że naprawiło wszystkie wskazane słabości. W komunikacie o przyspieszaniu badań firma napisała, że po incydencie z Hugging Face wstrzymała trening RL najnowszych modeli przeznaczonych do wdrożenia, wzmocniła i przetestowała swoje środowiska badawcze oraz rozszerzyła zakres monitoringu.
Te zmiany zapadły jednak po zakończeniu okresu dostępu audytorów i nie były przedmiotem oceny. METR pisze o tym wprost na X: analizowano monitoring w kształcie z początku pilotażu, „przypadkiem tego samego dnia, w którym OpenAI ujawniło incydent z Hugging Face”, a późniejszych zmian, w tym objęcia monitoringiem treningu RL, nie weryfikowano.
Raport w większości niejawny
Pełny, 61-stronicowy raport trafił do OpenAI. Po usunięciu przez OpenAI części treści kierownictwo METR i Redwood Research otrzymało wersję 38-stronicową, a opinii publicznej udostępniono jedynie krótkie podsumowanie, które METR opublikował na swoim blogu. Organizacja zaznacza, że sama nie miała prawa ujawniać utajnionych fragmentów. Sprawę opisały też CNBC i Reuters.
Audyt był pilotażem zorganizowanym wspólnie przez METR, Redwood Research i OpenAI, by dać zewnętrznym badaczom głęboki wgląd w wewnętrzną infrastrukturę. Przy kolejnych edycjach METR chce naciskać na większą jawność wyników.
