Zalew fałszywych raportów: Jak AI zaśmieca branżę cyberbezpieczeństwa

Fenomen generowanych przez duże modele językowe (LLM) niskiej jakości treści, potocznie nazywanych w języku angielskim „AI slop”, stał się w ostatnich latach plagą internetu. Zaśmieca on strony internetowe, media społecznościowe, a nawet pojawia się w tradycyjnych mediach. Okazuje się, że branża cyberbezpieczeństwa nie jest na ten problem odporna.

W ciągu ostatniego roku eksperci zgłaszali masowe pojawianie się raportów o błędach, które choć wyglądają profesjonalnie, zawierają nieistniejące luki, wynikające z „halucynacji” LLM. Vlad Ionescu, współzałożyciel i CTO firmy RunSybil, opracowującej narzędzia do automatycznego wyszukiwania błędów, podkreśla, że takie raporty często brzmią wiarygodnie i są technicznie poprawne. Problem pojawia się, gdy analitycy poświęcają czas na ich weryfikację, by odkryć, że opisywane luki są jedynie wytworem sztucznej inteligencji.

Ionescu, który wcześniej pracował w zespole red team Meta, zauważa, że LLM-y są z natury zaprojektowane tak, aby być pomocne i udzielać pozytywnych odpowiedzi. „Jeśli poprosisz go o raport, to go otrzymasz. Ludzie kopiują i wklejają te treści na platformy typu bug bounty, co prowadzi do ich przeciążenia. Firmy zmagają się z napływem fałszywych informacji, które wyglądają obiecująco, ale w rzeczywistości są bezwartościowe” – wyjaśnia.

Konkretne przykłady problemu

Przykłady z ostatnich miesięcy pokazują skalę zjawiska. Harry Sintonen, badacz bezpieczeństwa, ujawnił, że projekt open source Curl otrzymał fałszywy raport generowany przez AI. „Atakujący mocno się przeliczył. Curl wyczuwa »AI slop« z milimetrów” – napisał Sintonen na platformie Mastodon, co świadczy o rosnącej świadomości problemu wśród ekspertów. Benjamin Piouffle z Open Collective potwierdził, że ich skrzynka odbiorcza jest również „zalewana śmieciami generowanymi przez AI”.

Sytuacja jest na tyle poważna, że jeden z deweloperów open source, odpowiedzialny za projekt CycloneDX na GitHubie, całkowicie wycofał swój program bug bounty, twierdząc, że otrzymywał „prawie wyłącznie raporty typu »AI slop«”.

Reakcje platform i firm

Wiodące platformy bug bounty, działające jako pośrednicy między hakerami a firmami, również odnotowują wzrost liczby zgłoszeń generowanych przez AI. Michiel Prins, współzałożyciel i dyrektor ds. zarządzania produktem w HackerOne, potwierdza, że firma zaobserwowała wzrost liczby fałszywych alarmów – luk, które wyglądają na prawdziwe, ale są wytworem LLM i nie mają realnego wpływu na rzeczywistość. „Te niskiej jakości zgłoszenia generują szum, który podważa efektywność programów bezpieczeństwa” – podkreśla Prins, dodając, że raporty zawierające „wyimaginowane luki, nieprecyzyjne treści techniczne lub inne formy niskiej jakości szumu są traktowane jako spam”.

Casey Ellis, założyciel Bugcrowd, zauważa, że badacze coraz częściej wykorzystują AI do znajdowania luk i pisania raportów. Bugcrowd odnotowuje wzrost o około 500 zgłoszeń tygodniowo. „AI jest szeroko wykorzystywana w większości zgłoszeń, ale jeszcze nie spowodowała znaczącego wzrostu niskiej jakości raportów typu »slop«” – powiedział Ellis. Zaznaczył jednak, że „to prawdopodobnie eskaluje w przyszłości, ale jeszcze nie teraz”. Zespoły Bugcrowd analizują zgłoszenia ręcznie, wspierając się uczeniem maszynowym i AI.

W kontraście do powyższych obserwacji, Mozilla, twórca przeglądarki Firefox, nie odnotowała znacznego wzrostu nieprawidłowych lub niskiej jakości raportów o błędach, które wydawałyby się generowane przez AI. Wskaźnik odrzuceń zgłoszeń pozostaje stabilny, a firma nie używa AI do filtrowania raportów, obawiając się odrzucenia prawdziwych zgłoszeń. Microsoft i Meta odmówiły komentarza, a Google nie odpowiedziało na zapytania.

Przyszłość w erze AI

Vlad Ionescu przewiduje, że jednym z rozwiązań problemu rosnącej liczby „AI slop” będzie dalsze inwestowanie w systemy wykorzystujące sztuczną inteligencję do wstępnego przeglądu i filtrowania zgłoszeń. Już teraz widać ruch w tym kierunku: HackerOne niedawno uruchomił nowy system oceny, który łączy ludzi i AI. Nowy system wykorzystuje „agenty bezpieczeństwa AI do eliminowania szumu, oznaczania duplikatów i priorytetyzowania prawdziwych zagrożeń” – wyjaśnia rzecznik HackerOne, Randy Walker. Ludzcy analitycy weryfikują raporty i eskalują je w razie potrzeby.

W miarę jak hakerzy coraz częściej wykorzystują LLM-y, a firmy polegają na AI do oceny tych raportów, pozostaje pytanie, która z tych sztucznych inteligencji okaże się skuteczniejsza w tej cyfrowej konfrontacji. Wyścig na linii atakujący-obrońca wkracza w nowy, oparty na sztucznej inteligencji etap.