Agenci wykonują coraz więcej kroków, ale o kierunku badań nadal decydują ludzie

Większa liczba działań wykonywanych przez agentów AI nie oznacza, że systemy te stają się samodzielne w podejmowaniu decyzji badawczych. Z analizy logów pracy przy projekcie modelu Atria Dawn Preview wynika, że rola sztucznej inteligencji sprowadza się głównie do realizacji poleceń i proponowania wariantów, podczas gdy kluczowe rozstrzygnięcia pozostają w rękach ludzi.

Badacze przeanalizowali ponad 700 zapisów zadań zrealizowanych przez 56 uczestników projektu oraz powiązane z nimi logi agentów. AI wykorzystano w 96,5 proc. analizowanych zadań. W ciągu czterech tygodni mediana działań agenta przypadających na jedną interwencję człowieka wzrosła z 11 do 28,5. Autorzy analizy zaznaczają jednak, że dłuższy ciąg operacji nie jest dowodem na rosnącą autonomię decyzyjną — wynikał najczęściej z pojedynczego polecenia i nie przekładał się na większy udział modelu w ostatecznych wyborach.

Człowiek wybiera cel i metodę

Podział ról podczas prac okazał się wyraźny. Ludzie podejmowali ostateczną decyzję o celach i zakresie zadania w 93,4 proc. przypadków. W kwestii doboru metod i parametrów udział człowieka wynosił 85,5 proc., podczas gdy AI decydowała samodzielnie w 9,2 proc. sytuacji.

Najczęstszym schematem współpracy przy doborze metod był model, w którym AI proponowała rozwiązania, a człowiek dokonywał wyboru — taki układ odnotowano w 55,4 proc. przypadków. Udział AI w zgłaszaniu propozycji wahał się od 17 do 55 proc. w zależności od typu problemu, lecz jej rola w podejmowaniu decyzji końcowych pozostawała jednocyfrowa.

Nowe zadania i rozwiązywanie problemów

W ankietach towarzyszących badaniu uczestnicy ocenili, że 151 z 455 ukończonych zadań wspomaganych przez AI nie byłoby możliwych do zrealizowania bez jej użycia przy zachowaniu tego samego zakresu i jakości. Deklaracje te pochodziły od 27 z 56 osób biorących udział w projekcie. Była to jednak ocena samych uczestników; materiał nie przedstawia niezależnej weryfikacji tych deklaracji ani porównania z pracą bez agentów. W tych przypadkach pomoc agentów umożliwiła rozpoczęcie prac, których wcześniej nie można było podjąć z braku zasobów lub czasu. Nawet w tej grupie zadań ludzie określali cel w 95,4 proc. przypadków.

Podobną zależność zarejestrowano w sytuacjach awaryjnych. Spośród 588 odnotowanych problemów w 76 proc. przypadków prace można było kontynuować po interwencji człowieka, a w 23 proc. poradził sobie sam agent. Człowiek nie przejmował jednak ręcznie wykonywania zadań — pełne przejęcie pracy odnotowano jedynie w 0,7 proc. przypadków, a częściowe w 3,2 proc.

Interwencja ludzka sprowadzała się przede wszystkim do uzupełnienia kontekstu i doprecyzowania wymagań (35,2 proc.) lub zdiagnozowania błędu i wskazania innej metody (34,7 proc.). Gdy wynik wymagał poprawy, po otrzymaniu wskazówek od człowieka agent sam wprowadzał korekty w 75,4 proc. sytuacji.