Agenci AI gubią się, gdy skutki decyzji widać dopiero po czasie. Pokazuje to Taste-Bench

W wieloetapowych zadaniach programistycznych i badawczych agenci AI muszą nieustannie podejmować decyzje: którą hipotezę sprawdzić, na którym fragmencie kodu oprzeć dalszą pracę czy jaki test uruchomić. Klasyczne benchmarki sprawdzają zazwyczaj jedynie końcowy rezultat, na przykład to, czy wygenerowany program przechodzi testy jednostkowe. Nie mierzą jednak jakości samych wyborów dokonywanych w trakcie pracy, przez co dwa rozwiązania dające początkowo ten sam wynik mogą prowadzić do zupełnie innych konsekwencji w dalszym rozwoju projektu.

Badacze z Microsoftu oraz City University of Hong Kong stworzyli Taste-Bench — test oceniający zdolność modeli do wyboru lepszej ścieżki na podstawie zapisu dotychczasowych działań agenta. Sprawdzian obejmuje 502 pytania oparte na rzeczywistych rozwidleniach w przebiegach pracy nad zadaniami programistycznymi i uczenia maszynowego. W badaniu obejmującym 14 modeli najlepszy uzyskał 59,7 proc. poprawnych odpowiedzi.

Przeszłość łatwiejsza do oceny niż przyszłość

Pytania w Taste-Bench podzielono na dwie kategorie. Pierwsza powstała z porównania niezależnych prób wykonania tego samego zadania, w których agenci poszli różnymi drogami. W drugiej sytuacji agent w trakcie pojedynczej próby sam zorientował się, że popełnił błąd, porzucił dotychczasowy pomysł i wybrał skuteczniejszą metodę. Te rozwidlenia oparte na samokorekcie okazały się dla testowanych modeli wyraźnie trudniejsze.

Procedura testowa wymagała odporności na zmianę kolejności wariantów: każde pytanie zadawano dwukrotnie z zamienionymi odpowiedziami, a punkt przyznawano wyłącznie wtedy, gdy model wskazał właściwą ścieżkę w obu przypadkach. Przy takich założeniach wynik losowego wyboru wynosi 25 proc.

Największy wpływ na trafność oceny miał moment, w którym ujawniała się wskazówka rozstrzygająca o wyższości danej drogi:

• gdy przesłanki były już widoczne we wcześniejszym zapisie pracy, modele osiągały średnio 62,3 proc. poprawnych wyborów,
• gdy konsekwencje decyzji stawały się jasne dopiero po wielu kolejnych krokach, średnia skuteczność spadała do 21 proc. — poniżej poziomu losowego trafienia.

Dodatkowy test przeprowadzony na dwóch modelach, sprawdzający wpływ dłuższego rozumowania, pokazał, że zwiększenie budżetu tokenów nie przyniosło istotnej poprawy. Choć modele zużywały najwięcej zasobów na najtrudniejsze pytania, to właśnie na nich najczęściej popełniały błędy. Jeśli potrzebna informacja nie pojawiła się jeszcze w przebiegu, dłuższa analiza samego zapisu nie zastępowała wiedzy o przyszłych skutkach decyzji.

Podpowiedzi w praktyce

Autorzy sprawdzili również, czy umiejętność oceny kierunku prac można wykorzystać do wsparcia innych systemów. Wytrenowali model-ucznia, którego wskazówki dołączano do kontekstu osobnego agenta w momentach podejmowania kluczowych decyzji. W teście przeprowadzonym na 41 odłożonych zadaniach programistycznych z zestawu SWE-bench Pro odsetek pomyślnie ukończonych zadań wzrósł z 14,6 do 33,7 proc.

Wyniki Taste-Bench pokazują wyraźną różnicę między oceną gotowego rezultatu a zdolnością do przewidywania, dokąd prowadzi dany wybór. Modele, które w klasycznych sprawdzianach końcowych osiągają zbliżone wyniki, mogą znacznie różnić się pod względem trafności decyzji podejmowanych na wczesnych etapach pracy.