Agenci AI gubią się w realnych projektach. Prawie trzy czwarte zadań wymaga ludzkich poprawek
W syntetycznych testach programistycznych wiodące modele osiągają już wyniki przekraczające 95, a niekiedy nawet 99 procent. Jednak gdy agenci AI trafiają na realne repozytoria i niejednoznaczne instrukcje użytkowników, radzą sobie znacznie gorzej. Zespół naukowców z Alibaba Group oraz kilku azjatyckich uczelni (m.in. Uniwersytetu Fudan i Chińskiego Uniwersytetu Hongkongu) opublikował wyniki projektu Co-Design Bench — nowego sprawdzianu dla agentów kodujących, opartego na autentycznych sesjach deweloperskich.
Twórcy benchmarku przeanalizowali ponad 26 tysięcy rzeczywistych sesji z narzędziami do programowania i wyselekcjonowali 273 zadania, którym towarzyszy łącznie 2331 ukrytych kryteriów akceptacyjnych. Przy wyborze zadań badacze uwzględniali trudność, możliwość weryfikacji i sygnały wcześniejszych niepowodzeń, preferując m.in. przypadki wielokrotnego doprecyzowywania instrukcji lub wycofywania zmian wprowadzonych przez AI. Zadania podzielono na dwie ścieżki: edycję lokalną (ME), często wymagającą interpretacji wideo, audio, dokumentów czy grafik, oraz edycję repozytoriów (RE), która mogła obejmować modyfikacje struktury, logiki interaktywnej i stylów w wielu plikach.
Najlepszy z dziesięciu przetestowanych modeli, GPT-6 Astra, spełnił średnio 69,9% pojedynczych wymagań na zadanie. Problem w tym, że wskaźnik pełnego ukończenia prac (gdy system zrealizował bezbłędnie wszystkie kryteria) wyniósł zaledwie 26,4%. W praktyce oznacza to, że w niemal trzech czwartych przypadków agent pozostawił po sobie co najmniej jedno niespełnione kryterium lub niedokończony detal. W przypadku złożonych zadań na poziomie całego repozytorium wynik pełnego wdrożenia u lidera spadł do niecałych 18%.
Testy uwidoczniły też trudności przy łączeniu wielu obszarów prac (struktury, stylów, logiki interakcji i treści). Wszystkie dziesięć modeli radziło sobie gorzej w zadaniach na repozytoriach wymagających trzech lub czterech typów zmian niż przy jednym bądź dwóch — średnia różnica w realizacji kryteriów wyniosła 6,3 punktu procentowego. Większy nakład obliczeniowy nie szedł przy tym automatycznie w parze z lepszym rezultatem: w zadaniach edycji multimodalnej model GLM-5.2 zużył niemal sześciokrotnie więcej tokenów niż lider zestawienia, a mimo to uzyskał wyraźnie gorszy wynik.
Weryfikacja w Co-Design Bench nie opiera się na porównywaniu kodu ze wzorcem („gold code”), lecz na uruchomieniu zmodyfikowanej aplikacji w przeglądarce i audycie interakcji. Ocenę przeprowadza sędzia oparty na LLM, a jego pozytywne werdykty są następnie konfrontowane z osobnym modelem weryfikującym, którego zadaniem jest wykrywanie zaślepek czy wartości wpisanych na sztywno.
Wyniki te wpisują się w szerszą dyskusję nad tym, jak bardzo laboratoryjne benchmarki rozmijają się z realną przydatnością agentów. W badaniu organizacji METR odsetek akceptacji zmian generowanych przez AI przez osoby prowadzące projekty był wyraźnie niższy od wyników w benchmarku SWE-bench Verified. Autorzy Co-Design Bench zwracają także uwagę na rolę samego środowiska uruchomieniowego (ang. harness): zmiana oprogramowania pośredniczącego potrafiła zmienić skuteczność tego samego modelu nawet o kilkanaście punktów procentowych i odwrócić kolejność w tabeli liderów.
