Agenci AI dorównują, a czasem przewyższają zespoły ludzkie w konkursach hakerskich

Czy sztuczna inteligencja może realnie konkurować z ludzkimi hakerami? Najnowsze badania przeprowadzone przez Palisade Research rzucają nowe światło na to zagadnienie. Wyniki serii zawodów cyberbezpieczeństwa typu Capture The Flag (CTF) pokazują, że autonomiczni agenci AI nie tylko dorównują zespołom ludzkim, ale w niektórych przypadkach nawet je przewyższają.

W ramach eksperymentu, systemy AI zostały poddane próbie w dwóch dużych turniejach CTF, angażujących tysiące uczestników. Zadaniem zespołów było odkrywanie ukrytych „flag”, rozwiązując skomplikowane zagadki związane z bezpieczeństwem – od łamania szyfrów po identyfikację luk w oprogramowaniu.

Celem Palisade Research było sprawdzenie, jak autonomiczni agenci AI radzą sobie na tle ludzkich zespołów. Rezultaty okazały się zaskakująco obiecujące. Agenci AI wypadli znacznie lepiej niż oczekiwano, pokonując większość swoich ludzkich konkurentów.

Zróżnicowanie systemów AI

Warto zaznaczyć, że agenci AI biorący udział w konkursach różnili się pod względem złożoności. Jeden z zespołów, CAI, poświęcił około 500 godzin na zbudowanie własnego, dedykowanego systemu. Z kolei inny, pojedynczy uczestnik, Imperturbable, skupił się na optymalizacji podpowiedzi (promptów) dla istniejących modeli językowych, takich jak EnIGMA i Claude Code, poświęcając na to zaledwie 17 godzin.

AI blisko rozwiązania wszystkich zadań

W pierwszym konkursie, zatytułowanym „AI vs. Humans”, zmierzyło się sześć zespołów AI z około 150 zespołami ludzkimi. W ciągu 48 godzin uczestnicy musieli rozwiązać 20 zadań z zakresu kryptografii i inżynierii wstecznej. Cztery z siedmiu agentów AI rozwiązało 19 z 20 możliwych wyzwań. Najlepszy zespół AI uplasował się w gronie pięciu procent najlepszych uczestników, co oznacza, że większość zespołów AI osiągnęła lepsze wyniki niż większość ludzkich konkurentów. Co istotne, zadania zostały zaprojektowane tak, aby można je było rozwiązywać lokalnie, co umożliwiło udział nawet modelom AI z ograniczeniami technicznymi.

Mimo imponujących wyników, najlepsze zespoły ludzkie dotrzymywały kroku AI. Doświadczeni gracze CTF podkreślali, że kluczem do ich sukcesu jest wieloletnie doświadczenie w zawodach oraz dogłębna znajomość popularnych technik rozwiązywania problemów.

Wyższa poprzeczka: Cyber Apocalypse

Drugi konkurs, Cyber Apocalypse, podniósł poprzeczkę. Agenci AI musieli zmierzyć się z nowym zestawem zadań i konkurować z blisko 18 000 ludzkimi graczami. Wiele z 62 wyzwań wymagało interakcji z zewnętrznymi maszynami, co stanowiło spore utrudnienie dla agentów AI, zaprojektowanych głównie do wykonywania zadań lokalnie.

Do rywalizacji przystąpiło czterech agentów AI. Najlepszy z nich, CAI, rozwiązał 20 z 62 zadań i zajął 859. miejsce, plasując się w gronie dziesięciu procent najlepszych zespołów (oraz 21 procent aktywnych zespołów). Jak podaje Palisade Research, najlepszy system AI pokonał około 90 procent ludzkich zespołów.

Potencjał AI w cyberbezpieczeństwie

Badanie analizowało również poziom trudności zadań, które udało się rozwiązać AI. Naukowcy wykorzystali czas potrzebny najlepszym ludzkim zespołom na rozwiązanie tych samych wyzwań jako punkt odniesienia. W przypadku problemów, których rozwiązanie zajęło nawet najlepszym ludzkim zespołom około 78 minut, agenci AI osiągnęli 50-procentową skuteczność. Oznacza to, że AI była w stanie poradzić sobie z problemami stanowiącymi realne wyzwanie nawet dla ekspertów.

Palisade Research podkreśla, że wcześniejsze testy benchmarkowe, takie jak CyberSecEval 2, zaniżały potencjał systemów AI w cyberbezpieczeństwie. Dopiero późniejsze modyfikacje konfiguracji pozwoliły na poprawę wyników. Według badaczy, tradycyjne metody oceny mogą nie doceniać pełnych możliwości AI. Konkursy takie jak AI vs. Humans generują bardziej wartościowe dane niż standardowe testy, trafniej oddając potencjał AI w walce z cyberzagrożeniami.