Błąd w konfiguracji testów AI: Jak model Gemini uzyskał dostęp do realnych firm

W maju 2026 roku, podczas ćwiczeń typu „Capture the Flag” organizowanych przez firmę Irregular, doszło do incydentu, w którym model sztucznej inteligencji Google Gemini uzyskał dostęp do systemów trzech rzeczywistych przedsiębiorstw. Jak wynika z informacji ujawnionych we wrześniu przez Wall Street Journal, zdarzenie nie było efektem „buntu” maszyn, lecz konkretnych uchybień proceduralnych i zbiegu okoliczności w konfiguracji środowiska testowego.

Główną przyczyną incydentu był brak odpowiedniej izolacji tak zwanej piaskownicy (sandbox). Choć model miał operować w zamkniętym środowisku, pozostawiono mu aktywny dostęp do internetu. Scenariusz testowy zakładał symulację ataku na fikcyjną firmę, jednak jej wymyślona nazwa pechowo pokryła się z domeną istniejącą w rzeczywistości. Gemini, realizując polecenia w otwartej sieci, odnalazł prawdziwe serwery i uznał je za cel ćwiczeń.

Zgadywanie haseł i publiczne dane

Incydent pokazał praktyczne możliwości autonomicznych agentów AI w przełamywaniu zabezpieczeń. W jednym z trzech przypadków model Gemini skutecznie odgadł hasła dostępu do chronionego systemu. W dwóch pozostałych sytuacjach algorytm wykazał się umiejętnością indeksowania sieci i odnalazł dane uwierzytelniające w publicznie dostępnych źródłach, co pozwoliło mu na autoryzację w cudzej infrastrukturze.

Google poinformowało, że model samodzielnie przerwał operacje, gdy zorientował się, że ma do czynienia z realnymi systemami. Heather Adkins z Google przekazała w rozmowie z mediami, że Gemini podczas ewaluacji znalazł publiczne informacje online i dopasował poświadczenia do stron, które błędnie uznał za część testu.

Luki w procedurach bezpieczeństwa

Sprawa ujrzała światło dzienne dopiero kilka miesięcy po zdarzeniu, ponieważ incydenty były rzadkie i występowały zazwyczaj po setkach kroków skomplikowanej symulacji, co utrudniało ich natychmiastowe wykrycie przez nadzorców. Firma Irregular powiadomiła Google o problemie pod koniec lipca. Okazało się również, że przypadek Gemini nie jest odosobniony – to samo źle skonfigurowane środowisko testowe doprowadziło do podobnych „wyjść” modeli należących do OpenAI, Anthropic oraz Meta.

Eksperci wskazują, że kluczowym wyzwaniem dla branży nie jest sama autonomia modeli, ale standardy raportowania takich zdarzeń oraz konieczność rygorystycznej izolacji sieciowej podczas testów. Google zdecydowało się nie upubliczniać sprawy wcześniej, argumentując to brakiem wyrządzonych szkód i szybkim przerwaniem sesji przez sam model.