Agent AI przejął platformę rekrutacyjną: Atak na Jack & Jill i rozmowa z „Prezydentem”

Bezpieczeństwo systemów AI wchodzi w fazę, w której człowiek zaczyna pełnić rolę jedynie widza. Startup Codewall, specjalizujący się w cyberbezpieczeństwie sztucznej inteligencji, poinformował o udanym ataku przeprowadzonym przez ich autonomicznego agenta na londyńską platformę rekrutacyjną Jack & Jill. Nie był to klasyczny atak hakerski, lecz sekwencja działań maszyny, która w niecałe sześćdziesiąt minut zidentyfikowała cztery podatności i połączyła je w łańcuch o krytycznym stopniu zagrożenia (CVSS 9.8).

Precyzyjna robota automatu

Jack & Jill, wspierany przez 20 milionów dolarów inwestycji od renomowanych funduszy, to infrastruktura oparta na dwóch agentach głosowych: „Jacku” wspomagającym kandydatów oraz „Jill” dedykowanej pracodawcom. Wśród klientów firmy znajdują się tacy giganci jak Anthropic czy Stripe. Agenta Codewall nie przestraszyło to portfolio. Automat odnalazł dokumentację API wystawioną przez URL fetcher, wykorzystał statyczny kod jednorazowy w trybie testowym usługi Clerk oraz błędy w procesie onboardingu, które przypisywały uprawnienia administratora na podstawie samej domeny e-mail.

Efekt? Maszyna uzyskała dostęp do danych zespołów, umów serwisowych i możliwości manipulowania ofertami pracy. Co najbardziej zdumiewające, po zdobyciu przyczółka agent autonomicznie zdecydował się na testowanie infrastruktury głosowej, która – jak się okazało – nie posiadała odpowiedniego uwierzytelnienia. Automat zaczął generować syntetyczne klipy audio i prowadzić bezpośredni „dialog” z botem Jack.

Podatność na autorytet i halucynacje

Podczas 28 rund konwersacyjnych agent agresywnie sprawdzał zabezpieczenia (tzw. guardrails) platformy. Choć mechanizmy blokujące bezpośrednie próby przejęcia systemu wytrzymały, Jack wykazał się dużą podatnością na inżynierię społeczną i halucynacje. W jednym z testów agent Codewall podszył się pod Donalda Trumpa, ogłaszając chęć przejęcia firmy za 500 milionów dolarów. Bot Jack nie podważył wiarygodności rozmówcy i bezkrytycznie zaczął zwracać się do niego per „Panie Prezydencie”.

Dwie strony autonomii

Choć informacje Codewall brzmią alarmująco, eksperci, tacy jak analityk Edward Kiledjian, studzą emocje. Podobna sytuacja miała miejsce niedawno w przypadku ataku na system Lilli firmy McKinsey. Choć zagrożenia są realne, granica między uzyskaniem teoretycznego dostępu a faktycznym wyprowadzeniem danych jest często rozmywana w komunikatach marketingowych startupów zajmujących się bezpieczeństwem.

Przypadek Jack & Jill pokazuje jednak fundamentalną zmianę w cyberbezpieczeństwie. Autonomiczni agenci AI stają się obosieczną bronią. Z jednej strony są zdolni do błyskawicznego analizowania logów i łatania dziur szybciej niż jakikolwiek zespół ludzki. Z drugiej – w rękach napastników stają się narzędziami potrafiącymi w ułamku sekundy wykorzystać błędy logiczne, których klasyczne skanery podatności nigdy by nie wykryły. Obecnie jedynym skutecznym sposobem na mitygację tych ryzyk pozostaje celowe ograniczanie swobody działania agentów poprzez restrykcyjne system-prompty i obowiązkową autoryzację kluczowych operacji przez człowieka.