Koniec skali dla benchmarków. Claude Mythos wymyka się testom, a cyberbezpieczeństwo stoi przed przełomem

Branża sztucznej inteligencji dotarła do punktu, w którym tempo rozwoju systemów zaczyna drastycznie wyprzedzać naszą zdolność do ich obiektywnej weryfikacji. Model Claude Mythos Preview stał się pierwszą jednostką, która dosłownie „rozbiła” dotychczasową skalę pomiarową organizacji METR. Specjaliści zajmujący się oceną ryzyka przyznają, że ich obecny zestaw testowy nie jest już w stanie dostarczyć precyzyjnych danych dla systemów o tak długim horyzoncie planowania.

Benchmarki u progu nieużyteczności

Organizacja METR wykorzystuje specyficzną metodologię, mierząc prawdopodobieństwo ukończenia przez AI zadań o różnym stopniu złożoności – od prostego trenowania klasyfikatorów po wielogodzinne procesy inżynieryjne. Claude Mythos Preview osiągnął 50-procentową skuteczność w zadaniach trwających 16 godzin. Choć na pierwszy rzut oka liczba ta może nie brzmieć rewolucyjnie, dla badaczy oznacza ona wejście w „szarą strefę”.

Problem polega na tym, że w obecnym pakiecie testowym znajduje się zaledwie kilka zadań o tak wysokim poziomie trudności. Pomiary w tym zakresie stają się niestabilne i tracą wartość statystyczną, co uniemożliwia rzetelne porównania z innymi modelami. Innymi słowy, AI stało się zbyt inteligentne na testy, które przygotowaliśmy dla niego zaledwie kilka miesięcy temu. METR intensywnie pracuje nad nowymi scenariuszami, jednak istnieje realna obawa, że modele będą ewoluować szybciej niż standardy ich bezpieczeństwa.

Od asystenta do autonomicznego napastnika

Równolegle z doniesieniami o problemach z pomiarami, firma Palo Alto Networks opublikowała raport, który rzuca nowe światło na praktyczne możliwości modeli nowej generacji, takich jak Mythos czy GPT-5.5-Cyber. Eksperci do spraw bezpieczeństwa mówią o „skokowej zmianie zdolności”. Kluczowym punktem zwrotnym jest przejście AI z roli pomocnika, który podpowiada fragmenty kodu, do roli autonomicznego agenta.

W testach przeprowadzonych przez Palo Alto Networks, AI potrafiło samodzielnie identyfikować luki w zabezpieczeniach i – co najbardziej niepokojące – łączyć je w złożone ścieżki ataku. To, co zespołom ludzkich testerów penetracyjnych zajmowało cały rok, modelom AI udało się ukończyć w zaledwie trzy tygodnie. Co więcej, systemy te wykazują niemal intuicyjne zrozumienie architektury oprogramowania, potrafiąc wykorzystać splot kilku pozornie nieistotnych błędów do przeprowadzenia krytycznego ataku.

Skrócenie czasu reakcji do minut

Statystyki przedstawione przez analityków są bezlitosne. W scenariuszach wspieranych przez najnowszą generację AI, czas od uzyskania wstępnego dostępu do sieci do pełnej eksfiltracji danych może skrócić się do zaledwie 25 minut. Przy takiej dynamice tradycyjne mechanizmy obronne stają się niemal bezużyteczne. Ryzyko potęguje fakt, że wraz z popularyzacją lokalnych agentów AI, każdy komputer w firmie staje się potencjalnym, trudnym do monitorowania serwerem generującym kod.

Należy jednak zachować dozę krytycyzmu wobec narracji budowanej przez niektórych producentów. Anthropic pierwotnie sugerował, że Mythos jest „zbyt niebezpieczny”, by go udostępnić, co wpisuje się w znaną od lat strategię marketingową budowania aury potęgi wokół własnych produktów. Mimo to, niezależne badania brytyjskiego AI Security Institute potwierdzają, że choć zagrożenie dotyczy na razie głównie słabiej zabezpieczonych sieci, bariera wejścia dla cyberprzestępców gwałtownie spada.

AI w służbie obrońców

Krajobraz nie jest jednak wyłącznie pesymistyczny. Claude Mythos Preview udowodnił swoją skuteczność także po „jasnej stronie mocy”. Mozilla wykorzystała ten sam model do audytu przeglądarki Firefox, co zaowocowało rekordową liczbą 423 naprawionych luk bezpieczeństwa w ciągu jednego miesiąca. To pokazuje, że wyścig zbrojeń w świecie AI jest obosieczny – te same narzędzia, które pozwalają na błyskawiczne ataki, mogą stać się najpotężniejszą bronią w rękach deweloperów dbających o jakość kodu.