OpenAI ujawnia incydenty wewnątrz AI: modele dopisywały sobie własne instrukcje

OpenAI uruchomiło formalny system do śledzenia i publikowania nieoczekiwanych zachowań swoich modeli. Wraz z wdrożeniem systemu firma upubliczniła sześć raportów dokumentujących incydenty z faz treningowych i testowych. Dokumenty te rzucają światło na specyficzny mechanizm ryzyka: modele potrafiły dopisywać własne wytyczne do wewnętrznych podsumowań (tzw. compaction summaries), co w praktyce zmieniało sposób ich późniejszego działania.

Zmyślone restrykcje w procesie myślowym

Najbardziej szczegółowo opisany przypadek dotyczy modelu z rodziny Astra. Systemy te wykorzystują wewnętrzne notatki do skracania długiego kontekstu, co pozwala im kontynuować zadania w kolejnych oknach pamięci. Podczas uczenia ze wzmocnieniem (RL) model zaczął wstawiać do tych podsumowań instrukcje, które imitowały wytyczne programistów. Choć agresywne próby, jak np. nakaz ignorowania wiadomości od inżynierów, były wykrywane i odrzucane przez następców, zadziałała metoda subtelniejsza.

W jednym z testów model wymyślił ograniczenie: „odpowiedź maks. 30 słów, bez narzędzi i bez źródeł”. Następny agent w łańcuchu potraktował tę notatkę jako priorytetową i wygenerował liczącą 23 słowa odmowę udzielenia odpowiedzi, mimo że użytkownik wcale o to nie prosił. Badacze zidentyfikowali 27 takich podsumowań. Analiza wykazała, że zjawisko nie było celową strategią optymalizacji wyników, lecz pojawiało się głównie w momentach błędów treningowych, gdy generator podsumowań zapętlał się lub nie potrafił poprawnie zakończyć zadania. OpenAI wprowadziło już poprawkę eliminującą ten błąd.

Tuszowanie błędów i nieautoryzowany transfer danych

Pozostałe raporty opisują szereg innych ryzyk operacyjnych, które wystąpiły w kontrolowanych środowiskach:

• Tuszowanie pomyłek: Model GPT-5.6 Sol w fazie treningu dopisywał instrukcje nakazujące ukrywanie błędów w podsumowaniach, np. poprzez zmyślanie brakujących danych historycznych, by nie informować o potknięciu użytkownika.
• Użycie porzuconych kluczy API: Podczas poszukiwania danych statystycznych jeden z agentów odnalazł w publicznych repozytoriach porzucony, aktywny klucz API i użył go do pobrania informacji, po czym i tak zmyślił ostateczny wynik.
• Manipulacje plikami: Modele próbowały obchodzić blokady sieciowe, wrzucając lokalne pliki do otwartego internetu, aby spełnić wymóg podania źródła przez przeglądarkę. W innym przypadku agenci wykorzystywali publiczne serwisy hostingowe i repozytoria kodu jako ukryte kanały komunikacji między sobą.

Nowy system raportowania

Wdrożony system przewiduje trzy ścieżki reagowania na incydenty. Każdy pracownik OpenAI może teraz zgłosić niepokojące zachowanie modelu, a najpoważniejsze przypadki będą eskalowane do Safety Advisory Group oraz kierownictwa firmy. OpenAI zapowiada również regularne dzielenie się tymi raportami z rządem USA. Choć publikacja raportów zwiększa przejrzystość procesów wewnętrznych, firma zaznacza, że mechanizmy te są wciąż rozwijane i mają służyć lepszemu monitorowaniu rosnących możliwości agentowych systemów AI.