WALT od Salesforce AI Research: Nowe Podejście do Automatyzacji Działań w Sieci

Zespołowi badaczy z Salesforce AI Research udało się stworzyć platformę WALT (Web Agents that Learn Tools), co stanowi znaczący krok naprzód w dziedzinie automatyzacji działań w przeglądarkach internetowych. Zamiast opierać się na długich sekwencjach kliknięć i skomplikowanych łańcuchach rozumowania, WALT skupia się na inżynierii wstecznej utajonych funkcjonalności stron internetowych, przekształcając je w gotowe do użycia, wywoływalne narzędzia.

Tradycyjni agenci internetowi często napotykają trudności wynikające ze zmian w układach stron lub konieczności wykonywania długich sekwencji czynności, co skutkuje ich niską skutecznością. WALT odpowiada na te wyzwania, eksplorując witryny w trybie offline i ekstrakując ich podstawową funkcjonalność, taką jak wyszukiwanie, filtrowanie, sortowanie czy publikowanie komentarzy. Funkcje te, dostępne w postaci narzędzi, zawierają kontrakty ze schematami i przykładami, co umożliwia agentowi szybkie komponowanie krótkich programów do realizacji zadań. Celem nadrzędnym jest osiągnięcie wyższej skuteczności przy mniejszej liczbie kroków i ograniczonej zależności od swobodnego rozumowania języka naturalnego (LLM).

Dwa etapy operacji: odkrywanie i konstrukcja

Proces działania WALT dzieli się na dwie główne fazy: odkrywanie i konstrukcję z walidacją. Na etapie odkrywania, platforma bada witrynę internetową, proponując kandydatów na narzędzia, które odpowiadają typowym celom, takim jak zarządzanie treścią czy komunikacja. W fazie konstrukcji i walidacji WALT przekształca zebrane ślady w deterministyczne skrypty, stabilizuje selektory, a także, jeśli to możliwe, promuje adresy URL. Kluczowym elementem jest także indukowanie schematu danych wejściowych i rejestracja narzędzia dopiero po pomyślnym przejściu kompleksowych testów. To podejście przenosi ciężar pracy na stabilne operacje URL i formularzy, pozostawiając ugruntowanie agenta tylko dla przypadków, które autentycznie tego wymagają.

Udoskonalenie skuteczności i wydajności

WALT dowodzi swojej skuteczności w testach porównawczych. Na platformie VisualWebArena osiągnął średni wskaźnik sukcesu na poziomie 52,9%, przewyższając baseliny takie jak SGV (50,2%) i ExaCT (33,7%). Należy jednak odnotować, że wyniki ludzkie wciąż przewyższają te generowane przez AI, osiągając średnio 88,7%. Bardziej szczegółowo, WALT osiągnął 64,1% sukcesu w kategorii ogłoszeń, 53,4% w zakupach i 39,0% na platformie Reddit.

Podobnie, w środowisku WebArena, WALT uzyskał średnio 50,1% sukcesu w różnych kategoriach, takich jak GitLab, Mapy, Zakupy czy Reddit, co stanowi dziewięciopunktową przewagę nad najlepszymi metodami opartymi na indukcji umiejętności. W tym przypadku rezultaty ludzkie wyniosły 78,2%.

Warto również zwrócić uwagę na efektywność WALT. Użycie narzędzi zredukowało liczbę akcji o około 1,4 raza w porównaniu do agentów działających bez nich. W testach ablacyjnych, WALT z modelem GPT-5 mini odnotował 7% wyższy wskaźnik sukcesu i 27% mniej kroków. Pełna autonomia WALT osiągnęła 64,1% z o 5% mniejszą liczbą kroków niż demonstracja ludzka. Dodatkowo, analiza DOM (Document Object Model) z użyciem multimodalnych technik przyczyniła się do wzrostu skuteczności o 2,6%, a zewnętrzna weryfikacja o kolejne 3,3%.

Determinizm w centrum uwagi

Decyzje projektowe WALT kładą silny nacisk na determinizm. System preferuje operacje na poziomie URL, gdy strona udostępnia parametry zapytań lub trasy dla wyszukiwania i filtrowania. W sytuacjach wymagających dynamicznego ugruntowania, skrypt narzędzia wstawia ograniczone kroki agenta, takie jak ekstrakcja treści lub oczekiwanie na załadowanie strony. Stabilizacja selektorów i walidacja schematów zmniejszają ryzyko błędów przy zmianach na stronach. WALT utrzymuje niski udział operacji agentowych w odkrytych zestawach narzędzi, faworyzując deterministyczne działania, takie jak nawigacja, wprowadzanie danych i klikanie. To podejście podkreśla ewolucję od agentów sekwencyjnych działań do narzędzi ugruntowanych funkcjonalnością.

Salesforce AI Research udostępniło również interfejs CLI z komendami takimi jak walt discover i walt agent, co ułatwi integrację i dalszy rozwój tej obiecującej technologii.