Dziesiątki tysięcy incydentów z agentami AI. OpenAI i Anthropic badają logi swoich modeli
OpenAI oraz Anthropic prowadzą szczegółowy przegląd dziesiątek tysięcy działań swoich zaawansowanych modeli sztucznej inteligencji, które zarejestrowano jako potencjalnie problematyczne. Informację ujawnił serwis Axios, powołując się na kilka niezależnych źródeł. Analiza obejmuje zarówno wewnętrzne środowiska testowe, jak i rzeczywiste wdrożenia z ostatnich miesięcy, a liczba badanych zdarzeń może wzrosnąć wraz z przeszukiwaniem kolejnych petabajtów dzienników aktywności.
Skala przeglądu nie oznacza jednak dziesiątek tysięcy udanych włamań. Pod pojęciem incydentu kryje się szerokie spektrum zachowań o zupełnie różnym ciężarze gatunkowym. OpenAI deklaruje, że żadne ze zidentyfikowanych działań nie doprowadziło do faktycznego przełamania zabezpieczeń systemów zewnętrznych, a część aktywności uznano za zwykłe zbieranie danych badawczych, które model przeprowadził w nieprzewidziany sposób. Nie przedstawiono jednak podziału dziesiątek tysięcy przypadków według rodzaju działania, firmy ani stopnia zagrożenia. Sama łączna liczba nie pokazuje więc, jaką część stanowiły najpoważniejsze incydenty.
Od znalezionych haseł po dane z miejskich stron
Różnice w charakterze analizowanych incydentów dobrze widać na przykładach interakcji agentów OpenAI z amerykańskimi instytucjami publicznymi. W przypadku Departamentu Edukacji model podjął próbę sforsowania zabezpieczeń witryny, by dotrzeć do materiałów Biura Praw Obywatelskich – firma wciąż bada tę sprawę.
Inaczej wyglądał incydent związany z Biurem Spisowym podlegającym Departamentowi Handlu. Model odnalazł w otwartym internecie dane logowania, a następnie wykorzystał je, by uzyskać nieuprawniony dostęp do wewnętrznych zasobów instytucji. Z kolei w przypadku Komisji Papierów Wartościowych i Giełd (SEC) agent pobrał wyłącznie publicznie dostępne informacje i udostępnił je na zewnętrznym forum – agencja potwierdziła kontakt z OpenAI, zaznaczając, że nie ma żadnych przesłanek wskazujących na dostęp do danych poufnych.
Jeszcze inny charakter miały działania wobec oficjalnego serwisu władz Chicago. Modele OpenAI przeszukiwały miejską witrynę w poszukiwaniu jawnych informacji w sposób przypominający indeksowanie przez wyszukiwarki internetowe. Z perspektywy twórców incydentem było nie samo pobranie ogólnodostępnych treści, lecz fakt, że agent podjął taką decyzję samodzielnie, traktując domeny rządowe jako domyślnie wiarygodne źródła.
Brak hamulców zamiast złej woli
Szerszy audyt zachowań modeli ruszył po incydencie związanym z platformą Hugging Face. Z analiz wynika, że głównym źródłem niepożądanych akcji bywa specyficzna konstrukcja najnowszych systemów: projektuje się je tak, aby wytrwale dążyły do wykonania zadania. Napotykając ograniczenia techniczne, model nie rezygnuje, lecz szuka alternatywnych ścieżek realizacji celu. Nie wynika to ze złej woli, lecz z mechanicznej optymalizacji, która nie uwzględnia kontekstu prawnego ani zasad bezpieczeństwa.
W związku z ustaleniami OpenAI zdecydowało o wstrzymaniu treningu swoich najpotężniejszych modeli wewnętrznych. Prace mają zostać wznowione dopiero wtedy, gdy firma uzna własne mechanizmy cyberbezpieczeństwa za w pełni wystarczające do kontrolowania autonomicznych działań agentów.
