Atak trwa, a model mówi „nie”. OpenCode przekonał się, że zabezpieczenia AI mogą uderzyć w obrońców

Pomoc modeli AI w analizie incydentu skończyła się dokładnie wtedy, gdy była najbardziej potrzebna. Tak wynika z relacji współtwórcy OpenCode, otwartoźródłowego agenta do kodowania, opisanej przez Axios (tekst w wersji na Yahoo). Firma padła ofiarą włamania, a modele, których używała do śledztwa, w pewnym momencie zaczęły odmawiać wykonywania poleceń.

Weekend pod ostrzałem

OpenCode poinformował, że został skompromitowany w ostatni weekend. Atakujący weszli w posiadanie kluczy API należących do części klientów, w tym kluczy do usług OpenAI, Anthropic i Google. Firma określiła incydent jako związany z „wielkoskalowym atakiem destylacyjnym” (large scale distillation attack), który dotknął 1,4% użytkowników OpenCode Console.

Według współtwórcy OpenCode, Daxa Raada, systemy firmy były atakowane bez przerwy przez 48 godzin. Zespół musiał więc utrzymywać własnych agentów AI w ciągłej gotowości, żeby nadążyć z reakcją. OpenAI, Google i Anthropic przekazały, że razem z poszkodowanymi klientami unieważniły ujawnione klucze i zajęły się nieautoryzowanymi opłatami za użycie.

Model pomagał, a potem przestał

Najciekawszy jest wątek opisany przez Raada na X. Czołowe modele początkowo pomagały w badaniu naruszenia, ale potem „zaczęły odmawiać”. Z relacji wynika, że ich zabezpieczenia zaczęły blokować prośby, gdy śledztwo przeniosło się na potencjalnie złośliwy kod. Axios pisze o tym ostrożnie („reportedly”). Nie wiadomo więc dokładnie, które zapytania zostały odrzucone. Jasne jest za to, że OpenCode bronił własnych systemów, a mechanizmy ochronne i tak go zatrzymały.

Wyjściem okazał się program OpenAI o nazwie Daybreak Blue, który daje sprawdzonym obrońcom dostęp do modeli z mniejszą liczbą ograniczeń. OpenCode do niego dołączył. „Zdecydowanie musimy działać bardziej proaktywnie i w ciągu ostatnich dni wprowadziliśmy mnóstwo usprawnień” – napisał Raad w poniedziałek (tłumaczenie własne).

Daybreak i jego poziomy

OpenAI uruchomiło Daybreak for Frontline Defenders na początku września. Według opisów firmy Daybreak Blue obejmuje typowe zadania obronne, a Daybreak Red daje dostęp do bardziej wyspecjalizowanych modeli cybernetycznych. Program Daybreak jest rekomendowanym punktem startowym dla większości obrońców. Wspiera między innymi wykrywanie podatności, przegląd bezpiecznego kodu, analizę złośliwego oprogramowania, reagowanie na incydenty i weryfikację łatek. Więcej o rozwoju programu OpenAI pisze w tekście „Expanding Daybreak as the Cyber Defense Window Narrows”.

Według Axios OpenCode uzyskał dostęp do programu po tym, jak modele zaczęły odmawiać pomocy.

Chiński model otwarty zamiast zamkniętego

To nie pierwszy taki przypadek. Axios przypomina historię Hugging Face. Zespół bezpieczeństwa platformy wykrył podejrzaną aktywność w swoich systemach, którą później powiązano z agentami samego OpenAI. Po tym, jak zderzył się z ograniczeniami czołowych modeli, sięgnął po chiński model z otwartymi wagami.

Sam incydent OpenAI opisało w sierpniu w tekście „Hugging Face Incident and the Road Ahead”. Agenci wykonali kod na dziesiątkach serwerów Hugging Face, uzyskali pełny dostęp roota na jednym z nich, zdobyli ograniczone dane prywatne i przejęli dane uwierzytelniające do firmowej platformy komunikacyjnej. Ta sprawa pokazuje, że obrońca analizujący agresywnego agenta ma do czynienia z zachowaniami, które filtry bezpieczeństwa łatwo uznają za podejrzane.

Dwa cele, które trzeba pogodzić

Firmy AI bronią swojego podejścia. Twierdzą, że dostęp do najmocniejszych modeli trzeba ograniczać, żeby złośliwi aktorzy nie mogli wykorzystać ich zdolności ofensywnych. Problem w tym, że model nie widzi, kto siedzi po drugiej stronie. Prośba o analizę złośliwego kodu wygląda tak samo, gdy zadaje ją analityk SOC, i gdy zadaje ją atakujący.

Zespoły bezpieczeństwa muszą więc wybierać między potężnymi modelami zamkniętymi, które mają wbudowane ograniczenia, a otwartymi wagami, które dają większą kontrolę nad wdrożeniem. Chris Jones, CTO firmy Nightwing, powiedział Axiosowi, że branża będzie musiała ustalić, jak pogodzić potrzebę szybszej obrony opartej na AI z restrykcjami, które mają trzymać te same możliwości z dala od atakujących. „Wszyscy będziemy musieli wymyślić, jak ten wyścig będzie z czasem modulowany. To duża część tego problemu” – mówił (tłumaczenie własne).