Scale Labs sprawdza granice możliwości AI: Nowy ranking refaktoryzacji obnaża niespójność agentów

Współczesne modele językowe przestały być traktowane jedynie jako proste generatory fragmentów kodu, a stały się pretendentami do roli autonomicznych inżynierów. Skala wyzwań, przed którymi stają, systematycznie rośnie, co potwierdza premiera Refactoring Leaderboard – nowego filaru pakietu badawczego SWE Atlas od Scale Labs. Celem projektu jest weryfikacja, jak agenci AI radzą sobie z jednym z najtrudniejszych zadań w inżynierii oprogramowania: głęboką restrukturyzacją istniejących systemów bez zmiany ich funkcjonalności.

Prawdziwa skala trudności: więcej niż proste poprawki

Tradycyjne benchmarki, takie jak SWE-Bench, często skupiają się na izolowanych błędach lub krótkich zadaniach. Refactoring Leaderboard podnosi poprzeczkę znacznie wyżej. Zadania zawarte w tym zestawieniu wymagają średnio dwukrotnie więcej zmian w liniach kodu i niemal dwukrotnie częstszej edycji wielu plików jednocześnie w porównaniu do wersji Pro dotychczasowych testów. To sprawdzian nie tylko biegłości w pisaniu instrukcji, ale przede wszystkim zdolności do nawigacji po złożonych repozytoriach i zrozumienia istniejącej architektury.

Badanie Scale Labs skupia się na czterech kluczowych obszarach: dekompozycji monolitów, czyszczeniu interfejsów, eliminacji duplikacji logiki oraz poprawie granic modułów. W tej dyscyplinie obecnie bezkonkurencyjny okazuje się Claude Code z modelem Opus 4.7, wyprzedzając najnowsze iteracje ChatGPT. Jednak nawet liderzy rankingu napotykają na bariery, które kwestionują ich gotowość do w pełni samodzielnej pracy w środowisku produkcyjnym.

Pułapka przechodzących testów

Najciekawszym wnioskiem z raportu Scale Labs jest rozbieżność między poprawnością techniczną a jakością inżynieryjną. Agenci AI często potrafią zmodyfikować kod tak, aby wszystkie testy jednostkowe zakończyły się sukcesem, ale jednocześnie pozostawiają po sobie „techniczny bałagan”. Martwy kod, nieużywane importy, przestarzałe komentarze czy zduplikowane fragmenty logiki to nagminne błędy, które obniżają ocenę modeli w rygorystycznych rubrykach Scale Labs.

To krytyczny punkt dla firm rozważających automatyzację utrzymania długu technicznego. Okazuje się, że systemy AI potrafią „naprawić” strukturę, psując przy tym czytelność i łatwość późniejszej konserwacji oprogramowania. Różnica między modelem, który wykonuje zadanie, a tym, który dostarcza kod klasy produkcyjnej, pozostaje wyraźnie zarysowana, oddzielając czołowe modele zamknięte od wciąż goniących je rozwiązań o otwartych wagach.

Kryzys powtarzalności

Jason Droege, CEO Scale Labs, wskazuje na jeszcze jeden fundamentalny problem: brak niezawodności. Dane z benchmarku pokazują niepokojący trend – modele są od dwóch do trzech razy bardziej skłonne odnieść sukces raz na trzy próby niż powtórzyć ten sukces trzykrotnie w identycznych warunkach. W praktyce oznacza to, że demonstracje możliwości agentów AI mogą być mylące.

Dla branży technologicznej to jasny sygnał: droga do pełnej autonomii w inżynierii programowania wciąż jest daleka. Dopóki agenci nie osiągną wysokiego stopnia powtarzalności i nie nauczą się dbać o czystość artefaktów z taką samą precyzją jak ludzie, funkcja „autonaprawy” kodu pozostanie narzędziem wymagającym stałego nadzoru doświadczonego programisty.