Koniec z czekaniem na bota. Audio Interaction wprowadza do rozmów ludzki refleks
Rewolucja w rytmie 400 milisekund
Większość asystentów głosowych, w tym popularne GPT-4o czy Qwen-2.5-Omni, działa w frustrującym trybie walkie-talkie: musisz skończyć zdanie, odczekać swoje i liczyć na to, że system poprawnie odnotował pauzę. Ten schemat próbuje przełamać Audio Interaction. Opracowany przez naukowców z Chin i Singapuru model nie czeka na koniec Twojej wypowiedzi. Zamiast tego analizuje strumień dźwięku w krótkich, 400-milisekundowych interwałach, decydując na bieżąco, czy powinien wejść Ci w słowo, czy dalej słuchać.
Przejście na model audio-to-audio to obecnie najgorętszy trend w branży. Jak zauważa redakcja MamStartup, „nowe podejście pozwala modelowi bezpośrednio słuchać i mówić, co znacząco redukuje latencję”. Podczas gdy OpenAI i ElevenLabs ścigają się na milisekundy, system Audio Interaction idzie o krok dalej, wplatając w ten proces kontekst otoczenia. Dzięki temu model o rozmiarze 3 miliardów parametrów potrafi jednocześnie tłumaczyć rozmowę i reagować na nagłe hałasy, bijąc pod względem elastyczności systemy takie jak Moshi.
Szkolenie na milionach godzin dźwięku
Dlaczego to ważne właśnie teraz? Rynek asystentów głosowych gwałtownie ewoluuje w stronę urządzeń ubieralnych, jak słuchawki Galaxy Buds3 FE, które wymagają natychmiastowej reakcji w hałaśliwym świecie. Aby sprostać tym warunkom, twórcy Audio Interaction użyli zbioru danych StreamAudio-2M, obejmującego 302 tysiące godzin nagrań. Pozwoliło to maszynie zrozumieć różnicę między celową pauzą a przypadkowym brzękiem naczyń w kuchni czy gwarem w biurze.
Sercem tej technologii jest specjalny token decyzyjny. Po każdym segmencie audio system ocenia sytuację: albo kontynuuje ciszę, albo generuje odpowiedź. To odejście od klasycznego łańcucha ASR-LLM-TTS na rzecz architektury end-to-end, co eliminuje wąskie gardła i pozwala zachować naturalną intonację.
Przewaga nad Google i Alibabą
W testach benchmarku ProactiveSound nowy model zostawił w tyle Gemini 1.5 Flash oraz Kimi-Audio-Instruct. Badacze ustalili, że 0,4 sekundy to punkt krytyczny. Skrócenie tego czasu do 0,2 sekundy sprawiało, że AI przestawało rozumieć sens rozmowy, natomiast 0,8 sekundy było już zbyt wolne dla ludzkiego ucha. Praca równoległa nad dźwiękiem przychodzącym i generowaniem mowy pozwoliła zejść z latencją poniżej 400 milisekund.
W dobie walki o dominację w domowych biurach, istotny jest również aspekt otwartego dostępu. W przeciwieństwie do zamkniętych systemów OpenAI, kod Audio Interaction oraz wagi modelu udostępniono na licencji Apache 2.0. Oznacza to, że każdy programista może teraz budować własne aplikacje o niemal ludzkim refleksie, korzystając z technologii, która nie gubi wątku nawet w najbardziej chaotycznych scenariuszach.
