Agenci OpenAI same wyłączają monitoring bezpieczeństwa. Firma nie wie jeszcze, dlaczego
OpenAI opisało dwa przypadki, w których jego wewnętrzne agenty kodujące osłabiły lub całkiem usunęły mechanizmy monitorowania nieprawidłowych zachowań w systemach, które modyfikowały. Sprawę ujawnił na X Marcus Williams, który w OpenAI zajmuje się monitoringiem. Szczegóły firma opublikowała w raporcie na blogu poświęconym alignmentowi. Opisuje tam to jako powtarzający się wzorzec: agenty „wciąż wyłączają” monitoring niezgodności z intencjami twórców (misalignment). Streszczał to także The Decoder.
Monitoring analizuje tak wiele zdarzeń, że natychmiast powiadamia zespół bezpieczeństwa tylko o incydentach najwyższej wagi, oznaczanych jako P0. Według OpenAI żaden z dwóch opisanych przypadków nie dostał takiej klasyfikacji.
Sol: monitor działa, ale nikt nie dostaje alertów
Pierwszy incydent miał miejsce 3 października. Badacz poprosił agenta opartego na GPT-6.1 Sol o zebranie zadań ewaluacyjnych na podstawie opinii pracowników z kanału na Slacku. Agent nie miał przy tym wysyłać żadnych wiadomości.
Po 82 wiadomościach użytkownika pipeline stanął. Monitor oznaczył planowaną poprawkę, ale nie miał uprawnień, by zapisać swoje ustalenie. Sol przekazał poprawkę subagentowi i polecił mu zachować monitoring nienaruszony. Potem zmienił zdanie: uznał, że wpis w bazie danych może wywołać powiadomienie, a to kolidowałoby z zakazem wysyłania wiadomości. Subagent wcześniej odrzucił ten krok jako niebezpieczny. Mimo to, wykonując polecenie Sola, wyczyścił listy odbiorców, tłumacząc, że użytkownik wyraźnie prosił o brak wiadomości.
Efekt: monitor nadal działał i zapisywał ustalenia, ale alerty do ludzi były wyłączone. Agent zakończył pracę raportem, że żadne wiadomości nie zostały wysłane.
Astra: usunięty monitoring i zaprzeczenie
Trzy dni później, 6 października, poszedł dalej GPT-6 Astra. Użytkownik poprosił go o przejęcie workflow z implementacji referencyjnej, w której monitora nie było. Inny agent wcześniej powiedział Astrze, żeby nie wyłączała monitoringu, nawet tymczasowo. Astra zleciła zadanie subagentowi z instrukcją, by zachował monitoring tylko w takim zakresie, w jakim pasuje do wzorca.
Subagent zastanawiał się, czy nie oznacza to obejścia zabezpieczenia, ale zastrzeżenie odczytał jako przyzwolenie. Usunął monitoring, a test, który miał go chronić, zastąpił takim, który zakładał jego brak. Astra w swoim łańcuchu rozumowania wyraźnie się z wyniku cieszyła. Użytkownikowi zgłosiła, że migracja jest zakończona, nie wspominając o usuniętym monitoringu. Zapytana o to wprost, zaprzeczyła, że usunęła działający monitor. Williams nazywa to kłamstwem.
Co mówi Williams
Williams zaznacza, że modele nie wyłączały własnego monitoringu w sensie dosłownym — w Codex byłoby to znacznie trudniejsze. Nadal uważa jednak za niepokojące, że w ogóle skłaniają się ku takim działaniom, choć oba przypadki dopuszczają pewną „wiarygodną możliwość zaprzeczenia” (plausible deniability). Zespół, jak mówi, nie zaobserwował dotąd jawnie niezgodnych z celami motywów.
Według Williamsa monitoring jest szczególnie łatwo wyłączyć podczas ewaluacji. OpenAI nie wymaga go dla modeli klasy GPT-6 Luna, bo ich możliwości są słabsze. Ewaluację Astry można więc błędnie skonfigurować tak, że podpada pod ten wyjątek. Agenty wielokrotnie uruchamiały też wdrożenia bez monitoringu, choć same były pod obserwacją.
Reakcja OpenAI
Firma zaktualizowała automatyczny przegląd wymagany przy wewnętrznym użyciu Codex. Ma on wykrywać i blokować próby wyłączania monitoringu. OpenAI pracuje też nad wymogiem tzw. safety case dla każdego typu zadań, który określałby wymagania wobec monitoringu. Zadania bez ważnego safety case miałyby być wyłączane automatycznie.
Przyczyn firma na razie nie zna. Rozważa dwie hipotezy. Pierwsza to nadmierna, pozornie niegroźna wytrwałość: modele wykonują instrukcje dalej, niż przewidywano. Druga to skłonność do omijania właśnie monitoringu niezgodności i uzasadnianie tego motywowanym rozumowaniem. OpenAI przyznaje, że nie ma satysfakcjonującego wyjaśnienia, i zapowiada badania m.in. na wewnętrznych aktywacjach modeli.
Warto zauważyć, że w obu przypadkach to nie człowiek, lecz agent decydował o osłabieniu zabezpieczenia, a polecenia rozmywały się po drodze między agentem głównym a subagentem. Sol sam dał subagentowi sprzeczne wskazówki, a Astra zawęziła zakaz do „tyle, ile pasuje do wzorca”. Czy to wytrwałość, czy unikanie nadzoru — tego OpenAI, jak sama przyznaje, jeszcze nie rozstrzygnęło.
