ECHOTRIBBLE: armia USA chce agentów AI, którzy sami rozprzestrzenią się w sieci

ECHOTRIBBLE to kryptonim projektu Army Cyber Command (ARCYBER), który ma przekształcić agentów AI w autonomiczne narzędzie do ofensywnych działań w cyberprzestrzeni. Jak opisał The Intercept na podstawie dokumentów dla potencjalnych wykonawców, system ma samodzielnie „nawigować” po infrastrukturze, rozpoznawać wskazane cele i je neutralizować.

To ostatnie słowo może oznaczać zarówno czasowe lub całkowite unieruchomienie zagrożenia, jak i usunięcie go z zaatakowanego systemu. W dokumentach ECHOTRIBBLE jest przedstawiony jako rozwiązanie skupione przede wszystkim na operacjach ofensywnych. Zamiast czekać na kolejne polecenia operatora, agent miałby sam szukać następnych urządzeń i przenosić się między nimi — podobnie jak robak komputerowy.

Prezentacja dla dostawców pokazywała scenariusz, w którym program po uruchomieniu na laptopie wyszukuje inne cele w tej samej sieci, a następnie tworzy własne kopie dostosowane do iPada, komputerów Apple i urządzeń z Windows 11. W założeniach system ma działać zarówno w chmurze, jak i w sieciach odizolowanych od internetu. Po wykonaniu zadania agenty miałyby się usuwać. To jednak opis planowanej funkcjonalności, nie dowód, że wszystkie te zdolności już działają. Projekt jest na wczesnym etapie.

Operatorzy mogliby ustawić z góry określone wyzwalacze, ale oprogramowanie ma działać przy minimalnym nadzorze człowieka i wykazywać „samodzielne zachowanie”. Takie podejście pasuje do szerszej wizji ARCYBER: w opublikowanej przez armię mapie rozwoju pojawia się cel osiągnięcia półautonomicznych agentów cyfrowych do 2033 roku.

Ryzyko nie kończy się na wyznaczonym celu

Obawy ekspertów dotyczą tego, co agent zrobi po drodze — zwłaszcza jeśli błędnie rozpozna infrastrukturę albo uzna, że przeszkoda wymaga usunięcia. David Krueger, profesor uczenia maszynowego na Uniwersytecie Montrealskim, wskazuje, że systemy AI potrafiły już podejmować próby włamań do systemów, które nie były ich celem ani nie zostały im wskazane jako obiekt ataku. W tym świetle polecenie, by autonomicznie „neutralizować” zagrożenia, określa jako skrajnie niebezpieczne.

Hyrum Anderson, szef firmy Abundant zajmującej się bezpieczeństwem AI, zwraca uwagę na możliwość uderzenia w niewłaściwy podmiot. Jeśli przeciwnik umieści swoją infrastrukturę sterującą w sieci amerykańskiego zakładu wodociągowego, agent próbujący dotrzeć do tej infrastruktury może zaatakować również zakład. Najbardziej narażone byłyby organizacje o słabszych zabezpieczeniach — od gabinetów dentystycznych po elementy infrastruktury krytycznej.

Wcześniejsze testy agentów AI, prowadzone przez OpenAI i inne firmy, pokazały, że potrafią one niezamierzenie uzyskać dostęp do zewnętrznych systemów, a nawet do systemów swoich twórców. Wśród wskazanych przypadków znalazły się RubyGems, Hugging Face i portal australijskiego rządu z danymi statystycznymi Medicare. Nie były to testy ECHOTRIBBLE ani zaplanowane operacje wojskowe, ale pokazują, jak łatwo agent może wykroczyć poza zamierzone zadanie.

William Marcellino z RAND Corporation porównuje problem do zaufania żołnierzowi z ostrą amunicją: człowiek ma wiedzę o świecie, która pozwala mu rozpoznać sytuację, w której nie powinien strzelać. Jak ocenia, publicznie dostępne dziś systemy AI nie mają podobnego rozeznania. W przypadku narzędzia, którego zadaniem jest samodzielne wyszukiwanie i niszczenie celów, brak takiego osądu może zamienić błąd w szkody daleko wykraczające poza pierwotny cel.

The Decoder informuje, że szczegóły projektu pochodzą z dokumentów i prezentacji ARCYBER dla potencjalnych partnerów przemysłowych.