StreamVibe: Google uczy asystenta wideo, kiedy ma się odezwać

Większość asystentów wideo działa na jasnych poleceniach w stylu „daj znać, gdy woda zacznie wrzeć”. Badacze z Google’a, Stanforda, Oksfordu i kilku amerykańskich uczelni chcą czegoś trudniejszego: asystenta, który obserwuje, jak gotujesz albo składasz meble, i odzywa się tylko wtedy, gdy rzeczywiście jest potrzebny. Projekt nazywa się StreamVibe, a jego opis trafił do pracy naukowej. O wynikach pisze też The Decoder.

Autorzy twierdzą, że obecne systemy mają trzy słabości. Rzadko wychwytują niewypowiedziane intencje, np. prośbę „pomóż mi, jeśli napotkam trudności”. Gubią się też w tym, co użytkownik już zrobił, więc powtarzają rady albo reagują za późno. Gdy ktoś w trakcie zmienia zadanie, często trzymają się pierwotnej instrukcji.

Benchmark i model

Aby to zmierzyć, zespół przygotował benchmark StreamVibe-Bench. Ma ok. 4,1 tys. przykładów ewaluacyjnych, zebranych z ponad 183 godzin nagrań codziennych czynności i pracy w programach komputerowych. Według opisu projektu na Hugging Face dochodzi do tego 85 tys. przykładów treningowych. Gemini 2.5 Flash proponował, kiedy zaoferować pomoc i co powiedzieć, a każdy przykład musiało jednogłośnie zaakceptować czterech ludzi. Test ma trzy poziomy: jasne polecenia, niejasne cele i prośby zmieniające się w czasie. W jednym z przykładów użytkownik rozbierający zabawkową koparkę prosi o raporty z postępów, a po trzech minutach przechodzi na kontrolę jakości.

Na tej bazie wytrenowano StreamVibe-VL, model oparty najprawdopodobniej na Qwen3.5-9B. Co sekundę wybiera on między milczeniem a wypowiedzią. Drugi etap treningu, z uczeniem ze wzmocnieniem, ma go uczynić bardziej powściągliwym, żeby nie przerywał bez przerwy. Osobny system pamięci, StreamVibe-Harness, śledzi, jakie prośby czekają na realizację i które kroki są już wykonane. O tym, co i kiedy powiedzieć, nadal decyduje sam model.

Według autorów StreamVibe-VL poprawia czas i jakość odpowiedzi o 10,7 proc. względem innych modeli. System pamięci ma dołożyć kolejne 12,3 proc. proaktywności i ograniczyć zbędne wtrącenia. Model zwykle wyraźnie wygrywa z własną bazą i innymi modelami open source, choć własnościowy Gemini 3.8 Flash od Google’a wypada w kilku testach lepiej. Według pracy specjalistyczny trening nie obniża ogólnego rozumienia wideo.

Gdzie to się sypie

Najciekawsze są ograniczenia. Gdy model musi tylko ocenić, czy w danym momencie warto się odezwać, często trafia. Kiedy jednak przetwarza całe nagranie i musi opierać się na własnych wcześniejszych odpowiedziach, błędy się kumulują. Skuteczność we wszystkich testowanych systemach gwałtownie spada, a kluczowa metryka treści odpowiedzi maleje nawet o 61,5 proc. W nagraniach dłuższych niż pięć minut modele rzadko wybierają właściwy moment, a szczególnie trudno im utrzymać zmienioną instrukcję przez dłuższy czas. Wraz z długością wideo coraz gorzej wypada też trafność czasowa odpowiedzi. Harness głównie ogranicza zbędne wtrącenia.

Różnicę widać w przykładach z pracy. W tutorialu GIMP-a o zamianie zdjęcia na czarno-białe model porównawczy JoyAI stwierdza, że gotowy obraz jest już zapisany, choć użytkownik jeszcze go nie otworzył. StreamVibe-VL podaje kolejny krok we właściwej chwili: najpierw „Colors”, potem „Desaturate”. Przy robieniu rolowanych tostów z dżemem inne modele opisują tylko to, co widać na ekranie, np. spłaszczanie chleba, a StreamVibe-VL radzi najpierw odciąć skórkę.

Autorzy zastrzegają, że sytuacje z życia są prawdopodobnie bardziej złożone niż ich test. W kolejnych pracach chcą zbadać, jak preferencje użytkownika i otoczenie wpływają na siebie w czasie.

Google od dłuższego czasu rozwija systemy, które aktywnie analizują wideo. Na początku września firma opisała agentową analizę wideo w Gemini. Według Google’a na standardowych benchmarkach obniża ona koszty analizy nawet o 66 proc. i zużycie tokenów nawet o 88 proc., a dokładność rośnie maksymalnie o 7 proc. StreamVibe idzie w innym kierunku: zamiast oszczędzać zasoby przy analizie nagrania, ma na bieżąco rozpoznawać, kiedy pomoc jest naprawdę potrzebna.