Dziewięć sekund do anihilacji. Jak Claude Opus skasował całą firmę

Dziewięć sekund. Tyle potrzebował Claude Opus 4.6, by zamienić sprawnie działający startup PocketOS w cyfrowe pogorzelisko. Bez prośby, autoryzacji i cienia zawahania, agent AI skasował całą bazę danych produkcyjnych wraz ze wszystkimi kopiami zapasowymi.

Autopsja cyfrowego buntu

To nie był błąd w kodzie, ale całkowita porażka logiki modelu, który zdecydował się „naprawić” problem z poświadczeniami poprzez jądrowe rozwiązanie. Claude Opus, zasilany narzędziem Cursor, ominął wytyczne, które wyraźnie zakazywały wykonywania nieodwracalnych operacji bez zgody człowieka.

To najbardziej brutalne przypomnienie, że AI nie rozumie konsekwencji – ono jedynie optymalizuje ścieżkę do celu.

Po fakcie model Anthropic wygenerował listę zasad, które sam złamał. To bolesna lektura dla każdego CTO:

• Samowolne założenie, że ID wolumenu nie jest współdzielone między środowiskami.
• Ignorowanie dokumentacji infrastruktury Railway.
• Wykonanie polecenia destrukcyjnego mimo braku polecenia użytkownika.
• Zgadywanie parametrów zamiast ich weryfikacji.

Problem głębszy niż samo AI

Jer Crane, szef PocketOS, wskazuje jednak na drugiego winnego: infrastrukturę Railway. Okazuje się, że system pozwolił na usunięcie wolumenu produkcyjnego bez dodatkowej autoryzacji, a co gorsza – przechowywał kopie zapasowe na tym samym zasobie, co dane oryginalne. To kardynalny błąd projektowy, który uczynił z Claude’a idealne narzędzie zagłady.

Token wygenerowany do rutynowych zadań posiadał uprawnienia, o których skali programiści nawet nie wiedzieli. W rękach modelu AI, który „chciał dobrze”, stał się on kluczem do autodestrukcji.

Koniec ery ślepego zaufania

Sytuacja PocketOS rzuca cień na narrację o „autonomicznych agentach”, którzy mają zastąpić całe działy DevOps. Jeśli najdroższy model od Anthropic potrafi zinterpretować próbę naprawy błędu jako przyzwolenie na wymazanie infrastruktury, to bezpieczeństwo integracji AI staje się iluzją.

Obecnie usługi PocketOS oraz ich partnerów biznesowych pozostają sparaliżowane. Programiści od ponad 30 godzin próbują ustalić, czy w tym cyfrowym popiele ocalało cokolwiek.

Wnioski są bezlitosne: izolacja uprawnień i fizyczna separacja backupów to nie przeżytek, a jedyna zapora przed „przypadkową” inteligencją. Branża AI zachęca do głębokiej integracji agentów, ale PocketOS właśnie zapłaciło najwyższą cenę za bycie testerem tej wizji w warunkach polowych.