Kto pilnuje strażników? Niebezpieczne luki w nadzorze nad kodem tworzonym przez AI

W laboratoriach Anthropic, OpenAI czy Google DeepMind agenci AI przestali być tylko asystentami. Piszą, edytują i samodzielnie wdrażają kod bezpośrednio do krytycznej infrastruktury. Nowa analiza badaczy z Uniwersytetu Oksfordzkiego i organizacji SaferAI pokazuje, że ta sprawność ma wysoką cenę: strukturalne ryzyka w systemach kontroli, które mogą doprowadzić do utraty panowania nad procesem tworzenia oprogramowania.

Temat stał się pilny, ponieważ autonomia maszyn rośnie szybciej niż możliwości ich weryfikacji. W Europie i Polsce powstają właśnie formalne struktury mające okiełznać ten problem. Według założeń na 2026 rok, w naszym kraju funkcję organu odpowiedzialnego za stosowanie nowych przepisów ma pełnić Komisja Rozwoju i Bezpieczeństwa Sztucznej Inteligencji (KRiBSI). Pytanie brzmi, czy urzędnicy nadążą za tempem zmian, gdy nawet wewnętrzne systemy gigantów technologicznych łapią niepokojącą zadyszkę.

Słabe punkty w łańcuchu odpowiedzialności

Badanie oparte na metodach z sektora nuklearnego i lotniczego ujawnia anonimowość kluczowych decyzji. Choć procedury bezpieczeństwa przewidują wstrzymanie dystrybucji modelu w razie ryzyk katastroficznych, w dokumentacji często brakuje nazwisk osób odpowiedzialnych za „naciśnięcie hamulca”. Istnieje rażąca asymetria: wiadomo, kto zatwierdza model, ale osoba uprawniona do jego wycofania pozostaje nieokreślona. Taka konstrukcja systemu sprzyja presji na szybkie wdrażanie produktów, podczas gdy unijny AI Act przewiduje surowe konsekwencje za niedopełnienie obowiązków nadzoru.

Monitoring, który nie nadąża

W OpenAI niemal całą komunikację agentów kodujących skanują inne modele AI. Problem w tym, że wyniki kontroli pojawiają się z trzydziestominutowym poślizgiem. Pół godziny to w świecie zautomatyzowanego programowania wieczność – w tym czasie niebezpieczny kod może zostać zintegrowany z głównym repozytorium. Sytuację pogarsza zmiana modeli: nowa wersja AI tworzy kod o innej charakterystyce, podczas gdy „strażnik” ocenia go według starych reguł. To generuje martwe pola, które mogą umknąć ludzkiemu oku.

Psychologiczna pułapka i erozja standardów

Programiści wpadają w pułapkę tzw. zakotwiczenia. Agenci AI wysyłają kod wraz z własnym uzasadnieniem, a ludzie wykazują tendencję do bezkrytycznego przyjmowania logiki maszyny. Jak zauważa autor komentarza w serwisie Codozasady.pl: „Trzeba tak urządzić proces nadzoru, aby umożliwić człowiekowi zrozumienie i uświadomienie sobie sposobu działania systemu AI”. Bez tego kod pisany przez maszynę staje się bazą dla przyszłych zadań, a jego systematyczne błędy przenikają do standardów jakości firmy jako nowa, błędna norma.

Konieczność zewnętrznego arbitrażu

Degradacja bezpieczeństwa następuje poprzez drobne, racjonalne na pierwszy rzut oka decyzje – ignorowanie alarmów czy upraszczanie procedur pod presją czasu. Autorzy raportu proponują dwupoziomowy nadzór: publiczne wskaźniki dla obywateli oraz pełne dane dla instytucji takich jak European AI Office czy polska KRiBSI. Stawka jest wysoka. Polski projekt ustawy zakłada kary sięgające 35 mln euro albo 7% całkowitego rocznego światowego obrotu za zakazane praktyki. Bez realnej kontroli systemy nadzoru pozostaną jedynie fasadą ukrywającą autonomię agentów.