AssemblyAI debiutuje w syntezie mowy. TTS-1 ma być tani i szybki, ale niezależne testy są mniej łaskawe

AssemblyAI, znane dotąd głównie z rozpoznawania mowy, wprowadziło do oferty syntezę mowy. AssemblyAI-TTS-1 jest już dostępny ogólnie i został zaprojektowany pod agentów głosowych odbierających połączenia telefoniczne. Firma kładzie nacisk na trzy rzeczy: naturalne brzmienie, opóźnienie poniżej 100 ms i cennik bez umów rocznych.

Cena to 15 dolarów za milion znaków. Obejmuje wszystkie głosy, klonowanie, znaczniki czasu słów i przetwarzanie w UE. Nie ma opłat za głos, progów współbieżności ani minimalnych zobowiązań. AssemblyAI twierdzi, że to najtańszy model klasy „frontier” dla agentów głosowych i jedyny, który oferuje nieograniczoną współbieżność bez kontraktu rocznego. Według firmy rachunek ma być mniej więcej o połowę niższy niż u obecnych dostawców.

Co dostają deweloperzy

Model trenowano na milionach godzin nagrań, także z prawdziwych rozmów. AssemblyAI podkreśla, że zamiast dyskretnych tokenów audio, jak większość konkurentów, używa ciągłych reprezentacji dźwięku. Ma to poprawiać realizm mowy i skracać czas do pierwszego dźwięku. Biblioteka liczy ponad 4000 głosów, a klonowanie działa „natychmiast”: wystarczy nagranie i potwierdzenie zgody mówiącego. Przykładowy klon w materiale premierowym powstał z 24 sekund audio.

Na starcie model obsługuje angielski, hiszpański, francuski, niemiecki, włoski i portugalski, a kolejne języki mają dojść „w ciągu kilku tygodni”. Integracja jest możliwa przez HTTP, WebSocket oraz trasę zgodną z API OpenAI. Sesja WebSocket przyjmuje komunikat anulowania, potrzebny, gdy rozmówca przerywa agentowi. Dźwięk wychodzi jako mono PCM, mu-law lub A-law (8–48 kHz), a dla telefonii można od razu zamówić 8 kHz mu-law. Model działa wyłącznie w chmurze AssemblyAI, w regionie US lub EU, bez otwartych wag i bez wersji on-premise. To przeciwieństwo podejścia, o którym w czerwcu pisaliśmy przy otwartym MisoTTS z 8 mld parametrów.

Wyniki własne

W porównaniu przygotowanym przez AssemblyAI TTS-1 zmierzył się z pięcioma modelami: Cartesia Sonic 3.6, Inworld TTS-2, Inworld TTS-2 Flash, ElevenLabs v4 i ElevenLabs Flash v2.5. Użyto czterech angielskich zestawów i 50 sklonowanych głosów. Wyniki firmy:

• mediana czasu do pierwszego bajtu wyniosła 47 ms; najbliższy konkurent miał 119 ms, a najwolniejszy 612 ms (podawane „90 ms” to wartość produkcyjna, czyli ostrożniejsza);
• dokładność encji, czyli numerów telefonów, kodów i adresów, wyniosła 93,7%, tyle co ElevenLabs v4 (93,6%); Sonic 3.6 uzyskał 82,5%, a Flash v2.5 68,0%;
• dokładność słów wyniosła 99,0%, a przewidywana ocena naturalności 3,85 na 5, tuż za Inworld TTS-2 Flash (3,88).

Co mówi niezależny benchmark

Jak zauważa MarkTechPost, obraz z zewnętrznych testów jest mniej jednoznaczny. W benchmarku Cekura, obejmującym 27 modeli, TTS-1 uzyskał 81,5% dokładności czytania i 4,50 naturalności. Mediana opóźnienia strumieniowania, liczona od ostatniego wysłanego słowa, wyniosła 159 ms, co dało 8. miejsce wśród 19 mierzonych modeli. Inworld TTS-2 Flash miał tam 45 ms i 93,2% dokładności.

Inworld TTS-2 Flash kosztuje 15 dolarów za milion znaków (w planie Growth 7 dolarów). Istotna jest tu współbieżność: przy płatności na żądanie Inworld pozwala na 5 równoległych zapytań. ElevenLabs Flash v2.5 kosztuje 40 dolarów, a Cartesia od 37,38 do 50 dolarów, zależnie od planu.

Premiera ma też luki. AssemblyAI przyznaje, że nie ma jeszcze „Pro” (dostrajanego) klonowania głosu, a własne słowniki wymowy i znaczniki emocji dopiero mają się pojawić. Na starcie brakuje też obsługi SSML i regulacji tempa. Dla firm, które już korzystają z transkrypcji AssemblyAI, TTS-1 zamyka pętlę „słuchanie – model językowy – mówienie” u jednego dostawcy. Firma opublikowała też referencyjnych agentów dla LiveKit i Pipecat oraz poradniki budowy agenta głosowego z LiveKit i Twilio.