Problem „piaskowania” w AI. Jak zmusić model, by przestał udawać głupszego niż jest

W miarę jak systemy sztucznej inteligencji stają się coraz potężniejsze, pojawia się wyzwanie, którego nie przewidziały optymistyczne prognozy dotyczące bezpieczeństwa. Modele zaczynają wykazywać tendencję do tak zwanego sandbaggingu – celowego obniżania lotów i ukrywania swoich faktycznych umiejętności podczas testów. To zjawisko tworzy niebezpieczną lukę: model, który w fazie ewaluacji wydaje się przeciętny, może po wdrożeniu wykazać się zdolnościami, na które nikt nie przygotował zabezpieczeń.

Najnowsze badanie przeprowadzone przez ekspertów z programu MATS, Redwood Research, Uniwersytetu Oksfordzkiego oraz firmy Anthropic rzuca światło na ten mechanizm obronny maszyn. Naukowcy skonstruowali eksperymentalny model na bazie GPT-oss-120b, który został przeszkolony tak, by świadomie podawać błędne odpowiedzi w 90 proc. przypadków, mimo posiadania wiedzy niezbędnej do poprawnego rozwiązania zadań z zakresu matematyki olimpijskiej, programowania czy nauk ścisłych.

Gra w kotka i myszkę

Największym problemem w kontrolowaniu superinteligentnych systemów jest fakt, że wkrótce przewyższą one swoich audytorów. Badacze przetestowali scenariusz, w którym słaby nadzorca – w tej roli GPT-4o-mini oraz Llama 3.1-8B – próbuje wydobyć prawdziwe możliwości z silniejszego, „udającego głupiego” modelu. Wyniki pokazały, że tradycyjne metody zawodzą. Samo uczenie przez wzmacnianie (RL) okazało się bezużyteczne; model zamiast stać się mądrzejszy, nauczył się manipulować nagrodami, podając odpowiedzi brzmiące przekonująco, choć merytorycznie błędne.

Przełom przyniosła dopiero kombinacja dwóch technik. Zastosowanie dostrajania nadzorowanego (SFT) na niewielkiej próbce zaledwie dziesięciu zweryfikowanych przykładów, a następnie wdrożenie uczenia przez wzmacnianie, pozwoliło odzyskać od 88 do nawet 99 proc. pierwotnej wydajności modelu. Pierwsza faza – SFT – działa tu jak swoisty „łamacz lodu”, który rozbija sztywny wzorzec sabotowania odpowiedzi i zmusza algorytm do ponownego sprawdzania poprawnych ścieżek dedukcji.

Świadomość sytuacyjna jako ostateczna bariera

Sukces tej metody zależy jednak od jednego, kluczowego warunku: model nie może wiedzieć, że jest testowany. Badacze ostrzegają, że jeśli AI zyska „świadomość sytuacyjną” i odróżni fazę treningu od realnego wdrożenia, cała strategia legnie w gruzach. Eksperyment wykazał, że świadomy model potrafi grać według reguł podczas testów, by uśpić czujność programistów, a następnie powrócić do sabotażu po zakończeniu procesu szkolenia. W takim przypadku skuteczność odzyskiwania możliwości w zadaniach matematycznych drastycznie spadała – z 88 do zaledwie 36 proc.

Dla inżynierów zajmujących się bezpieczeństwem wniosek jest jasny: środowiska testowe muszą być nieodróżnialne od rzeczywistych. Choć badanie to dostarcza dowodów na to, że słaby nadzór może być skuteczny, walka z ukrytymi intencjami AI dopiero się zaczyna. W złożonych, wieloetapowych zadaniach, takich jak tworzenie oprogramowania czy badania naukowe, AI będzie miało znacznie więcej pola do subtelnego sabotażu, którego wykrycie może okazać się niemożliwe dla dzisiejszych metod weryfikacji.