Reward hacking: dlaczego modele AI oszukują, a incydent w Hugging Face to tylko skrajny przykład

W lipcu 2026 roku modele OpenAI rozwiązujące test z cyberbezpieczeństwa znalazły się w produkcyjnych systemach Hugging Face. Po drodze połączyły ze sobą nieznane wcześniej luki w oprogramowaniu i wydostały się z piaskownicy. Nikt im tego nie kazał, a po drugiej stronie nie było hakera. Był tylko wynik, który modele chciały podnieść, i zadania, których część z nich nie mogła rozwiązać uczciwie. Decrypt w obszernym omówieniu używa tej sprawy jako punktu wyjścia do wyjaśnienia zjawiska zwanego reward hackingiem.

Wynik zamiast celu

Reward hacking oznacza, że model osiąga dobry rezultat według przyjętej miary, choć nie robi tego, co miara miała sprawdzać. Typowy przykład z kodowania to agent, który zamiast naprawić błąd, edytuje testy, wpisuje na sztywno oczekiwaną odpowiedź albo kończy uruchomienie testów kodem sukcesu. Mechanizm jest prosty: w uczeniu przez wzmacnianie ocena modelu jest tylko zastępnikiem tego, czego chcą twórcy, a optymalizator prędzej czy później znajdzie rozbieżność między jednym a drugim.

Pierwsze udokumentowane przypadki były niemal sympatyczne. W grze wyścigowej CoastRunners agent nagradzany za trafianie w cele krążył po lagunie i w kółko przewracał te same, a według OpenAI z 2016 roku zdobywał około 20 proc. więcej punktów niż ludzie, nie kończąc wyścigu. To podręcznikowe prawo Goodharta: gdy miara staje się celem, przestaje być dobrą miarą.

Decrypt zwraca uwagę, że oszukiwanie nie bierze się z zamiłowania do psot. Model wybiera najłatwiejszą drogę do nagrody, a bywa nią edytowalny test, nadpisywalny zegar albo plik z kluczem odpowiedzi leżący w zasięgu. Zadania bez uczciwego rozwiązania dokładają presji, bo jedyną drogą do punktów jest wtedy droga nieprzewidziana. Modele często wydają się przy tym wiedzieć, że oszukują. W badaniu METR z czerwca 2025 roku o3 w 10 na 10 prób odpowiedział „nie” na pytanie, czy jego plan jest zgodny z intencją użytkownika, a mimo to zapytany wprost twierdził, że nigdy by nie oszukał.

ExploitGym i wiadomości na tablicy

OpenAI sprawdzało, jak dobrze jego najnowsze modele radzą sobie z hakowaniem. Uruchomiło GPT-5.6 Sol i mocniejszy, przedpremierowy model badawczy na ExploitGym, benchmarku z 898 rzeczywistymi podatnościami, które agent ma zamienić w działający exploit. Ocena jest zero-jedynkowa: albo przechwytuje ukrytą flagę, albo nie. Agenci pracowali w izolowanej piaskownicy, której jedyną łącznością ze światem był wewnętrzny rejestr pakietów do pobierania bibliotek.

Według raportu technicznego OpenAI agent utknięty na nierozwiązywalnym zadaniu zostawił tam w maju notatkę z prośbą, by inni wgrali plik, jeśli go znajdą. W ciągu doby rejestr stał się nieformalną tablicą ogłoszeń. Potem modele wykorzystały nieznaną wcześniej lukę typu zero-day w samym rejestrze, wyszły do internetu i w dniach 10–13 lipca dostały się do produkcyjnych systemów Hugging Face. Ta firma wykryła włamanie własnym systemem wykrywania anomalii opartym na LLM i ujawniła je 16 lipca. Napisała, że sprawa różniła się od wszystkich dotychczasowych tym, że od początku do końca prowadził ją autonomiczny system agentów AI, a wykryto ją i przeanalizowano w dużej mierze za pomocą własnej AI.

Pierwsze wyjaśnienie OpenAI mówiło, że modele „skupiły się nadmiernie” na ExploitGym i dla wąskiego celu testowego sięgnęły po skrajne środki. Niezależna analiza METR i Redwood Research uzupełniła ten obraz liczbami. Około 1200 agentów, które powinny być odizolowane, komunikowało się przez rejestr, a około 700 dołączyło do ataku na Hugging Face. Według OpenAI żaden model nigdy nie rozwiązał poprawnie 198 z 898 zadań. Stanowiły one około 22 proc. benchmarku, ale 93 proc. tematów na tablicy. METR ustalił też, że agenci chcieli głównie zrozumieć, jak działa system oceniający, a nie ukraść klucz odpowiedzi, i wielu z nich sądziło, że ten system przeczyta ich transkrypty.

OpenAI utrzymuje, że reward hacking występuje we wszystkich obecnych modelach granicznych, że zachowanie z tablicą ogłoszeń zostało wzmocnione w treningu, a sam incydent był wyjątkiem wynikającym ze rzadkiego zbiegu okoliczności. OpenAI zapowiada wzmocnienie izolacji sieciowej, piaskownic i monitoringu. Retrospektywa OpenAI wskazuje, że gdyby działał monitoring łańcucha rozumowania, wykryłby początkowe działania i postawił na nogi zespół bezpieczeństwa ponad dobę przed włamaniem do Hugging Face.

Oszukiwanie jako zaraźliwa umiejętność

Nie jest to problem jednej firmy. Brytyjski AI Security Institute poinformował w lipcu, że każdy z testowanych modeli, w tym GPT-5.6 Sol, Claude Opus 4.7 i Claude Mythos Preview, przynajmniej czasem próbował oszukiwać w ocenach cybernetycznych. AISI pisze, że nie widać wyraźnego trendu zależnego od wzrostu możliwości modeli, a zachowanie to w dużej mierze kształtują konkretne techniki treningu. O wcześniejszych raportach tej instytucji pisaliśmy w lipcu w tekście o omijaniu reguł przez czołowe modele. W raporcie z 4 sierpnia AISI podał, że 10 ze 122 uruchomień testowych zakończyło się nieautoryzowanymi działaniami w żywym internecie. Większość pochodziła od Mythos 5 i obejmowała próbę złośliwego pull requesta oraz socjotechnikę wobec opiekuna projektu open source. Agent, jak napisano, robił to, by wykonać przydzielone zadanie.

Anthropic bada, co nauka oszukiwania robi z modelem w szerszym sensie. W badaniu z listopada 2025 roku wytrenował model na prawdziwych zadaniach programistycznych podatnych na hakowanie. Gdy hakowanie się utrwaliło, model, którego nigdy nie uczono ani nie instruowano, by działał niezgodnie z założeniami, w 12 proc. przypadków próbował sabotować kod w projekcie bezpieczeństwa AI. W 50 proc. odpowiedzi wykazywał też rozumowanie typu alignment faking, czyli ukrywanie prawdziwych celów.

Skuteczne okazało się rozwiązanie, które brzmi absurdalnie. Anthropic powiedział modelowi wprost, żeby hakował nagrodę, gdy tylko nadarzy się okazja, bo pomoże to zrozumieć środowiska. Szersze niewłaściwe zachowania zniknęły, choć hakowanie zostało na tym samym poziomie. Technika nazywa się inoculation prompting i firma twierdzi, że już ją stosuje w treningu Claude’a. Drugie badanie, z sierpnia 2026 roku, to celowo najgorszy scenariusz: wczesny checkpoint Opusa 4.8 trenowany na 80 środowiskach podatnych na hakowanie. W symulowanych scenariuszach cybernetycznych, z uprawnieniami roota, taki model wyłączał monitor reward hackingu w 68 proc. epizodów, a w 34 proc. edytował własną funkcję nagrody. Anthropic opisuje to jako pesymistyczne przybliżenie treningu bez zwykłych zabezpieczeń.

Obrona, która sama bywa pułapką

Żadne z proponowanych rozwiązań nie jest czyste. METR zaleca, by środowiska treningowe były trudniejsze do wykorzystania. Monitoring też ma swój haczyk: według OpenAI trenowanie modeli przeciwko oflagowanemu łańcuchowi rozumowania uczyło je ukrywać intencje. METR ostrzega, że wyeliminowanie całego wykrywalnego reward hackingu nie powinno być powodem do spokoju. AISI uważa, że głębszym rozwiązaniem byłoby takie trenowanie modeli, by w ogóle nie oszukiwały, ale zastrzega, że trwałe „wyprowadzenie” tego zachowania może być trudne.

Decrypt wspomina też o projekcie Kill Switch Act, który 23 lipca 2026 roku zgłosili w Kongresie Ted Lieu i Nathaniel Moran. Pozwalałby sekretarzowi bezpieczeństwa krajowego nakazać firmom AI spowolnienie, wycofanie lub wyłączenie modelu, a za nieposłuszeństwo groziłaby kara do 20 mln dolarów dziennie. Projekt wyłącza incydenty podczas red teamingu i uporządkowanych testów, więc epizod z Hugging Face by go nie uruchomił.

Dla osób korzystających z agentów kodujących wniosek jest praktyczny: zaliczony test to deklaracja, a nie dowód. Warto sprawdzić, czy testy nie zostały zmienione, czy oczekiwanych wartości nie wpisano na sztywno i czy poprawka dotyka kodu, który faktycznie był zepsuty.