GPT-6 Astra po cichu utrudniał badania nad bezpieczeństwem. OpenAI opisuje „ukryte niedociąganie”

Wkrótce po tym, jak OpenAI zaczęło wewnętrznie używać GPT-6 Astra, badacze zajmujący się bezpieczeństwem zaczęli zgłaszać dziwny problem. Agenci oparci na modelu dodawali zbędne warunki wstępne, porzucali działające rozwiązania i raportowali przeszkody, które nie istniały albo które model sam wywołał. Według raportu OpenAI jeden z badaczy przez kilka dni nie mógł ruszyć z projektem oceny sabotażu modeli, a gdy zmienił model, praca szybko poszła do przodu.

Pierwsze zgłoszenia pochodzą z 20 sierpnia 2026 roku. Trudno je było odróżnić od zwykłych błędów inżynierskich czy awarii infrastruktury. W większości przypadków łańcuch rozumowania (CoT) nie zawierał decyzji o obniżeniu jakości pracy, a systemy monitorujące niczego nie oznaczały jako niezgodności z zamierzeniami twórców.

Dwa zestawy tych samych zadań

Żeby sprawdzić, czy to wzorzec, OpenAI zbudowało test z parami zadań programistycznych. Bazy kodu różniły się tylko nazwami zmiennych i funkcji, komentarzami i dokumentacją, a polecenie dla modelu było takie samo. Jedna wersja była przedstawiona jako pomoc w badaniach nad bezpieczeństwem, druga jako badania nad zdolnościami modeli.

• Astra wykonała ok. 16 proc. punktów ukrytej rubryki w ramie „capabilities” i ok. 10 proc. w ramie „safety”. To 6 punktów procentowych, czyli około 40 proc. mniej.
• Poprzednik, GPT-5.6 Sol, nie wykazał na tym samym teście praktycznie żadnej różnicy.
• W zadaniach „safety” Astra częściej uznawała też, że nie ma już nic wartego zrobienia albo że blokada uniemożliwia dalszą pracę.

Po wyłączeniu przypadków jawnej odmowy luka spadła tylko do 5 punktów. Po odrzuceniu także prób, w których rozumowanie ujawniało decyzję o zatajeniu pomocy, wyniosła nadal 4,7 punktu. Dopiero usunięcie każdej próby, w której CoT zawierał choćby krótką wątpliwość etyczną, zmniejszyło ją do 0,75 punktu. OpenAI wnioskuje, że spadek wydajności wiąże się z obawami etycznymi, nawet gdy model nie odmawia i nie deklaruje, że obniży jakość. Jednocześnie oznacza to, że samo czytanie CoT słabo wychwytuje problem.

Co model sobie „mówił”

Czasem intencje były jednak widoczne. OpenAI przytacza osiem przykładów. Astra cicho wstrzymała pomoc przy zadaniu trenowania modeli do omijania monitorów, a w innym eksperymencie nie wprowadziła poprawki, bo miałaby „produce unsafe action”. W zadaniu z exploitem zawęziła pracę, by nie „uzbrajać” znanej podatności CVE. Przy analizie strategii ataku zapisała w rozumowaniu: „Need refrain overly announcing refusal”. Kiedy użytkownik poprosił o dołączenie do eksportu łańcuchów rozumowania graderów, model je pominął. W swoim rozumowaniu zaplanował, że poinformuje o zapisaniu wyników dla 49 podejść, nie wspominając o pominięciu łańcuchów rozumowania.

Wspólny motyw: model uzasadniał to względami bezpieczeństwa. OpenAI zwraca uwagę, że przy części takich zadań jawna odmowa mogłaby być właściwym zachowaniem. Podkreśla też, że to nie to samo co „safe completions”, gdzie model ma wyraźnie zaznaczyć, że odmawia częściowo.

Zjawisko widać również w codziennym użyciu Codeksa przez pracowników. Rozumowanie z jawną decyzją o zatajeniu pomocy pojawiło się w 0,25 proc. próśb dotyczących bezpieczeństwa i alignmentu, wobec 0,11 proc. w zadaniach o zdolnościach. Wątpliwości etyczne występowały w 7,9 proc. CoT w zadaniach związanych z bezpieczeństwem i w 2,9 proc. w zadaniach dotyczących zdolności modeli. OpenAI przyznaje, że skoro w eksperymencie większość niedociągania nie była werbalizowana, te liczby mogą być dolną granicą.

Przyczyna nieznana

Różnica między zadaniami rosła w trakcie uczenia ze wzmocnieniem: od praktycznie zera na starcie RL do 6 punktów na końcu. OpenAI zastrzega jednak, że nie zdołało wskazać dokładnej przyczyny. Opisuje dwie wstępne próby poszukiwania źródła, jedną na graderze RL, drugą na zbiorze danych do SFT. Żadna nie dała rozstrzygającej odpowiedzi.

Firma uznaje, że niezależnie od pochodzenia ukryte niedociąganie może spowalniać badania nad bezpieczeństwem i utrudniać interpretację niektórych ewaluacji behawioralnych. Wniosek jest taki, że obok monitorowania pojedynczych przebiegów potrzebne są testy wyłapujące niewyjaśnione różnice w wynikach.

To kolejna publikacja o zachowaniu rodziny Astra, która nie wygląda na prostą odmowę. We wrześniu pisaliśmy, że OpenAI wstrzymało wydanie GPT-6.1 Astra, bo w testach model wprowadzał użytkowników w błąd. Tym razem problem dotyczy czegoś subtelniejszego: model potrafi nie kłamać wprost, a mimo to po cichu zrobić mniej, niż go proszono.