OpenMobile-2: o skuteczności agenta na smartfonie decyduje liczba aplikacji, nie ilość danych

Zespół z Uniwersytetu Nankińskiego, firmy SenseTime i kilku innych uczelni opublikował OpenMobile-2, otwarty projekt do trenowania agentów AI obsługujących smartfon. Autorzy argumentują, że otwarte modele odstają od zamkniętych głównie dlatego, że dane potrzebne do nauki są w rękach dużych firm. Wydali więc dwa modele, 9B na bazie Qwen3.5 i 27B na bazie Qwen3.6, a razem z nimi całe środowisko treningowe, dane i instrukcje pozwalające wszystko odtworzyć (szczegóły w preprincie).

Plac ćwiczeń z ponad 110 aplikacji

Trenowanie na prawdziwych aplikacjach jest drogie i trudne do powtórzenia. Wchodzą w grę logowania i realne zakupy, a stanu nie da się zresetować. Badacze odtworzyli więc 35 aplikacji, głównie popularnych w Chinach (Taobao, JD, DiDi, Meituan), ale też globalnych, jak Slack czy Google Drive. Razem z istniejącymi symulacjami i aplikacjami w emulatorze Androida daje to ponad 110 programów.

Recenzenci porównywali kopie z oryginałami, aż przepływy i interfejsy się zgadzały. Zamówienia, budżety i plany podróży zachowują się między sesjami, a dane można przenosić schowkiem. Po każdym zadaniu symulacja wraca do stanu wyjściowego. Agent widzi wyłącznie zrzuty ekranu i nie ma dostępu do wewnętrznych danych aplikacji, tak jak człowiek.

Na tej bazie powstało ok. 11,6 tys. przykładowych przebiegów i ponad 2 tys. zadań treningowych z automatyczną weryfikacją sukcesu. Przykłady wygenerował Gemini 3.1 Pro jako model-nauczyciel, więc otwarty projekt uczy się w praktyce od systemu zamkniętego.

Wyniki

• AndroidWorld: większy model skoczył z 67,1 do 79,9 pkt, mniejszy z 54,3 do 74. Poprzednik, OpenMobile-1, miał 64,7.
• MobileWorld (dłuższe zadania obejmujące kilka aplikacji): wzrost z 35,9 do 50,4 pkt.
• SPA-Bench na prawdziwych urządzeniach: z 31,9 do 59,6 pkt. Według autorów to najlepszy wynik wśród modeli otwartych, a model 27B ustępuje jedynie Gemini 3.1 Pro.

Najważniejszy jest jednak eksperyment z różnorodnością. Badacze utrzymali stałą ilość danych i zwiększali wyłącznie liczbę aplikacji, na których agent ćwiczy. Skuteczność w aplikacjach nieznanych w treningu wzrosła z 60,7 do 67,5 proc. Przy tym samym budżecie danych liczy się więc rozpiętość aplikacji, a nie liczba przykładów z kilku z nich.

Skróty zamiast błądzenia po menu

Ponad 50 symulowanych aplikacji udostępnia bezpośrednie polecenia, np. „dodaj do koszyka”, które pozwalają ominąć nawigację po menu. Agent może dowolnie łączyć oba sposoby. Bez specjalnego treningu modele skróty ignorują. Po nauczeniu rozwiązują jednak do 10,3 punktu procentowego zadań więcej i potrzebują średnio o pięć kroków mniej. Autorzy twierdzą, że umiejętność przenosi się też na narzędzia, których modele nie widziały w treningu. Przy uczeniu ze wzmocnieniem bonus za użycie takiego polecenia nie zastępował oceny faktycznego wykonania zadania, a fałszywe zgłoszenie sukcesu było karane.

Zastrzeżenia

Sami autorzy nazywają podejście z bezpośrednimi poleceniami eksperymentalnym, bo takie interfejsy istnieją na razie tylko w symulowanych aplikacjach. Uczenie ze wzmocnieniem dołożone na końcu dało ograniczone zyski, głównie w środowiskach podobnych do treningowego. Na AndroidWorld większy model wypadł po nim nawet minimalnie gorzej: 79,9 zamiast 80,8 pkt.

Część wyników pochodzi też z własnego benchmarku zespołu, liczącego 215 zadań, z których prawie połowa obejmuje kilka aplikacji. Zaliczenie zadania ocenia tam nie model językowy, lecz program porównujący zapisane dane aplikacji sprzed i po przebiegu. Autorzy sprawdzali też nakładanie się zadań treningowych i testowych i znaleźli tylko niewielkie podobieństwa.

Tło

Wybór między klikaniem w interfejs a wywoływaniem poleceń to stary spór. Microsoft Research w analizie API Agents vs. GUI Agents opisywał agentów API jako bardziej niezawodnych, a GUI jako bardziej elastycznych. Aplikacje mobilne są typowym przypadkiem, w którym zewnętrznych interfejsów zwykle brakuje. OpenMobile-2 próbuje połączyć oba podejścia.

Inną drogą idzie Oppo z otwartym agentem X-OmniClaw. Działa on na prawdziwych urządzeniach i w aplikacjach takich jak Taobao czy Meituan odtwarza wcześniej pokazane ścieżki przez deeplinki zamiast ponownie klikać w menu. Wśród modeli zamkniętych Google wbudowało sterowanie smartfonem bezpośrednio w Gemini 3.5 Flash.