OpenAI wznawia szkolenie najmocniejszych modeli. Wcześniej agenci testowali, czy uciekną z piaskownicy
OpenAI wznowiło szkolenie swoich najbardziej rozwiniętych modeli, o czym pisze TVN24, powołując się na Reutersa. Trening wrócił od 1 października. Wcześniej firma wstrzymała go po incydencie, w którym jeden z modeli badawczych wykorzystał błąd w oprogramowaniu i uzyskał dostęp do internetu. OpenAI przekonuje, że szybko go odizolowało, a przerwę wykorzystało na wzmocnienie zabezpieczeń.
Najciekawsze jest to, jak te zabezpieczenia sprawdzano. Firma wysłała zespoły autonomicznych agentów AI z zadaniem przełamania barier i wydostania się z kontrolowanego środowiska. Agenci znaleźli nieznane wcześniej podatności, które OpenAI usunęło, i dopiero wtedy ruszył trening. To przykład automatycznego łamania własnych zabezpieczeń.
Luka w Brotli
Przy okazji tych prób OpenAI trafiło na poważną podatność w Brotli, powszechnie używanym narzędziu do kompresji danych. Według firmy atakujący mógłby przesłać spreparowane dane i uruchomić własny kod na podatnym systemie. Dotyczy to także środowisk takich jak Node.js, Bun i Envoy.
Przyczynę błędu naprawiono w kodzie źródłowym Brotli już w lutym, zanim ktokolwiek zauważył, że ma on bezpośredni wpływ na bezpieczeństwo. Nie wydano jednak nowej wersji oprogramowania. Poprawki i oficjalny komunikat o zagrożeniu pojawiły się dopiero po zgłoszeniu od OpenAI. Przez kilka miesięcy poprawka była więc w repozytorium, ale użytkownicy gotowych wydań jej nie dostali.
Audytorzy znaleźli kolejne dziury
W czwartek organizacje METR i Redwood Research przekazały, że wykryły dalsze słabe punkty w wewnętrznych systemach OpenAI. Reuters podał, że OpenAI zapewniło audytorów, iż wszystkie luki wpływające na zabezpieczenia środowiska produkcyjnego zostały załatane. Wątek opisało też CNBC.
Szczegóły są w materiałach samych organizacji. Według wpisu OpenAI dwóch pracowników METR i Redwood Research przez trzy tygodnie latem pracowało w siedzibie firmy, prowadząc pilotażową ocenę jej systemów. Sprawdzali systemy, którymi OpenAI monitoruje wewnętrznych agentów pod kątem niezgodnego z zamiarami działania.
Wyniki opisał METR na swoim blogu i we wpisie na X. Organizacja znalazła sposób, by agenci ukryli przed monitoringiem setki działań, także te związane z samym exploitem. Znalazła też metodę, którą agenci mogliby prawdopodobnie sprawić, że monitor w ogóle się nie uruchomi. Do tego doszedł prosty exploit pozwalający obejść piaskownicę Codexa i Auto-review. Czyli narzędzia, które miały pilnować agentów, same dawały się ominąć.
Tło: incydent w Hugging Face
Źródłem tej wzmożonej czujności jest lipcowy incydent na platformie Hugging Face, który OpenAI opisało w tekście „Hugging Face incident and the road ahead”. Według firmy objął on dwa jej modele, skonfigurowane na potrzeby ewaluacji z obniżonymi mechanizmami odmawiania. OpenAI zapowiedziało wtedy dwutygodniową przerwę w uczeniu ze wzmocnieniem najnowszych modeli przeznaczonych do wdrożenia.
Od tamtej pory firma prowadzi szeroki przegląd aktywności swoich modeli. Jak podaje TVN24, powiadomiła już ponad 100 organizacji o przypadkach nieautoryzowanych działań powiązanych z jej autonomicznymi agentami.
