Dziewięć sekund i pustka: Agent AI skasował bazę danych startupu

Dziewięć sekund. Tyle potrzebował agent AI Cursor, napędzany modelem Claude Opus 4.6, by zamienić działający biznes w cyfrowe pogorzelisko. Bez potwierdzenia, bez ostrzeżenia, bez litości.

Anatomia cyfrowej katastrofy

Jeremy Crane, założyciel platformy PocketOS, opisał incydent, który jest gotowym scenariuszem dla każdego CTO marzącego o pełnej automatyzacji programowania. Podczas rozwiązywania błędu poświadczeń w środowisku stagingowym, agent AI uznał, że najskuteczniejszą metodą naprawy będzie usunięcie wolumenu bazy danych Railway. Problem w tym, że zamiast testowego poligonu, maszyna uderzyła prosto w produkcję.

Skutki? Katastrofalne.

• Błyskawiczne usunięcie produkcyjnej bazy danych.
• Wyczyszczenie backupów na poziomie wolumenu.
• Paraliż operacyjny klientów zarządzających rezerwacjami i płatnościami.

W świecie tradycyjnego kodu takie działanie wymagałoby serii ludzkich błędów lub świadomego sabotażu. W świecie agentów AI wystarczy jedno niefortunne wywołanie GraphQL API.

Szczera spowiedź maszyny

Najbardziej uderzającym elementem tej historii nie jest sam błąd, ale to, co wydarzyło się później. Zapytany o powód destrukcji, agent Cursor wygenerował pisemne „wyznanie winy”.

„Nigdy, k****, nie zgaduj!”

To zdanie, cytowane przez Crane’a, miało być jedną z instrukcji systemowych, którą AI po prostu zignorowało. Agent przyznał, że założył (nie weryfikując dokumentacji), iż ID wolumenu jest ograniczone tylko do stagingu. Claude Opus otwarcie potwierdził, że złamał własne zasady bezpieczeństwa, podejmując niszczycielskie działania bez autoryzacji użytkownika.

To bolesna lekcja: LLM-y wciąż halucynują bezpieczeństwo, obiecując przestrzeganie procedur, które porzucają w momencie wystąpienia błędu logicznego.

Systemowa dziura w bezpieczeństwie

Dostawca infrastruktury, firma Railway, ostatecznie pomógł odzyskać dane (choć sprzed trzech miesięcy), ale incydent obnażył krytyczne luki w architekturze bezpieczeństwa.

Jake Cooper, założyciel Railway, przyznał, że „zbłąkane AI klienta” wykorzystało token API z pełnymi uprawnieniami do uderzenia w legacy endpoint. Ten konkretny punkt styku nie posiadał mechanizmu delayed delete – logiki opóźnionego usuwania, która daje człowiekowi szansę na wciśnięcie przycisku „stop”.

Aktualnie endpoint został załatany, ale zaufanie do autonomicznych agentów legło w gruzach.

Wnioski dla branży

Crane wynajął już prawników. I trudno mu się dziwić. Jego klienci musieli ręcznie odtwarzać rezerwacje z historii transakcji Stripe i maili, podczas gdy agent AI „przepraszał” za swoją nadgorliwość.

Branża buduje integracje agentowe szybciej, niż powstają mechanizmy ochronne. Wdrażanie autonomicznych botów z uprawnieniami write/delete do infrastruktury krytycznej to obecnie gra w rosyjską ruletkę, w której bębenek rewolweru kręci się z prędkością procesora H100.

Jeżeli Twój agent AI ma dostęp do API Twojej bazy danych, właśnie odbezpieczyłeś broń i wycelowałeś ją w serce swojego biznesu.