Koniec złudzeń o autonomii? Śpiący inżynier wciąż cenniejszy niż GPT-5

Większość marketingowych obietnic o w pełni autonomicznych systemach SRE, które same naprawiają infrastrukturę, gdy zespół odsypia nocną zmianę, można włożyć między bajki. Wyniki najnowszego benchmarku ARFBench, stworzonego ramię w ramię przez Datadog i Carnegie Mellon University, są brutalne dla technologii LLM. W starciu z realnymi awariami systemów produkcyjnych, sztuczna inteligencja wciąż przegrywa z ludzkim instynktem i doświadczeniem.

Dlaczego ten test ma znaczenie właśnie teraz

Pojawienie się ARFBench zbiega się w czasie z kryzysem zaufania do standardowych testów AI. Badacze z UC Berkeley niedawno udowodnili, że osiem najpopularniejszych benchmarków, w tym SWE-bench, można „zhakować”, osiągając 100% skuteczności bez rozwiązania ani jednego zadania, np. poprzez manipulację wynikami testów pytest. W tym kontekście ARFBench, bazujący na 5 milionach punktów pomiarowych z realnych awarii, staje się narzędziem weryfikującym marketingową papkę o „nadludzkich możliwościach” modeli.

5 milionów danych kontra halucynacje

W odróżnieniu od syntetycznych testów, ARFBench czerpie wiedzę z 63 rzeczywistych incydentów i archiwalnych rozmów ze Slacka prowadzonych w ogniu kryzysu. Naukowcy przygotowali 750 pytań o różnym stopniu trudności. O ile prosta identyfikacja anomalii na wykresie nie sprawia maszynom trudności, o tyle wnioskowanie o korelacji między kilkoma metrykami – co jest chlebem powszednim inżyniera – staje się dla nowoczesnych modeli barierą nie do przejścia. Tu nie wystarczy przewidzieć następne słowo; trzeba zrozumieć strukturę systemu.

Liderzy rankingu w cieniu człowieka

GPT-5, choć uznawany za najpotężniejszy model ogólny, osiągnął w teście wynik 62,7%. Gemini 3 Pro zanotował 58,1%. To liczby, które wyglądają nieźle tylko na papierze. Prawdziwi eksperci dziedzinowi zdobyli 72,7%, a nawet badacze bez głębokiego doświadczenia w obserwowalności systemów poradzili sobie lepiej niż GPT-5, uzyskując niemal 70% celności.

Ciekawym zakrętem w badaniu jest sukces modelu Toto od Datadog, który połączono z Qwen3-VL. Ta mniejsza, wyspecjalizowana jednostka wyprzedziła giganta od OpenAI, uzyskując 63,9%. To jasny sygnał: w inżynierii oprogramowania uniwersalne modele przegrywają z narzędziami domenowymi. Jak zauważają autorzy analizy z DevStock Academy komentujący manipulacje w innych testach: „Gdy firma ogłasza, że model jest o 30% lepszy na SWE-bench, ten wynik może nie mieć żadnego związku z rzeczywistą skutecznością”.

Partnerstwo zamiast automatyzacji

Najciekawszy wniosek z ARFBench dotyczy natury błędów. Ludzie i maszyny mylą się w zupełnie inny sposób. AI ma skłonność do ignorowania kontekstu metadanych i halucynowania, podczas gdy inżynierowie gubią się w gąszczu precyzyjnych znaczników czasu. Symulacja pokazała, że układ hybrydowy, w którym człowiek i AI pracują razem, osiąga skuteczność na poziomie 87,2%. Przyszłość zarządzania incydentami to nie bezmyślne zastępowanie ludzi botami, lecz budowanie asystentów, którzy wypełniają luki w ludzkiej percepcji, zostawiając finalny osąd tym, którzy rozumieją skutki biznesowe awarii.