Maszyna kontra programista: MirrorCode testuje granice autonomicznego kodowania

Czternaście godzin pracy i rachunek na 251 dolarów. Tyle wystarczyło, by model Claude Opus 4.7 odtworzył od zera 16 tysięcy linii kodu narzędzia bioinformatycznego gotree. Człowiekowi zajęłoby to od dwóch do siedemnastu tygodni. To nie jest już tylko podpowiadanie składni, ale inżynieria na skalę przemysłową.

MirrorCode, wspólny projekt organizacji Epoch AI oraz METR, to test inny niż wszystkie. Zamiast prosić o napisanie prostej funkcji, badacze dają maszynie gruby plik dokumentacji i każą odtworzyć kompletny system bez zaglądania do źródeł. Dlaczego to ważne właśnie teraz? Bo MirrorCode udowadnia, że tak zwany inference scaling — czyli dawanie modelom czasu na „myślenie” i wielokrotne próby — pozwala AI na realizację zadań budżetowych i inżynieryjnych, które dotąd wymagały całych kwartałów pracy zespołu programistów.

Finansowe i czasowe ekstrema

Wyniki rzucają nowe światło na wydajność cyfrowych inżynierów. Jedno z najbardziej wymagających zadań pochłonęło aż 2600 dolarów. Model pracował nad nim nieprzerwanie przez 19 dni, wykazując się autonomią, która do niedawna była poza zasięgiem algorytmów. Co ciekawe, mimo tak długiego czasu pracy, maszyna niemal nie popełniła błędów. W przypadku wspomnianego narzędzia gotree, Claude Opus 4.7 zaliczył 2000 z 2001 testów jednostkowych, osiągając skuteczność 99,95 proc.

Ranking liderów i bariera niemożliwego

Obecnie MirrorCode wyłania lidera wyścigu o autonomię. Claude Opus 4.7 prowadzi w rankingu ze skutecznością na poziomie 56 proc. Drugie miejsce zajmuje GPT-5.5 (44 proc.), a podium zamyka Gemini 3.1 Pro Preview (32 proc.). Statystyki te pokazują postęp, ale i szklany sufit. O ile mniejsze projekty, jak generowanie identyfikatorów UUID, są formalnością, o tyle najbardziej rozbudowane systemy pozostają nierozwiązane. Gdy AI przegrywa, zazwyczaj dzieje się to w trudnych przypadkach krańcowych (edge cases).

Interesujące są fluktuacje kosztów. GPT-5.5 okazał się trzykrotnie droższy od swojego poprzednika przy tych samych zadaniach. Z kolei najnowszy Claude zdołał trzykrotnie zredukować wydatki względem wersji 4.1. Pokazuje to, że optymalizacja algorytmów idzie w parze z czystą mocą obliczeniową.

Problem cyfrowej pamięci

Naukowcy z Epoch AI zachowują zdrowy sceptycyzm. MirrorCode bazuje na projektach open-source, więc istnieje ryzyko, że modele widziały ten kod podczas treningu. Autorzy przyznają, że nie mogą całkowicie wykluczyć efektu zapamiętywania, choć tempo rozwoju jest zbyt szybkie, by uznać to za zwykły plagiat. „Jeszcze osiem miesięcy temu modele zaliczały tylko 30 proc. testów na znacznie prostszych zadaniach” — przypominają badacze z METR. Dziś te same maszyny budują zaawansowane interpretery i narzędzia kryptograficzne, zmieniając sposób, w jaki myślimy o utrzymaniu starych, zapomnianych systemów (legacy).