Voxtral 3: Mistral składa cały agent głosowy w jeden stos

Mistral AI zaprezentował Voxtral 3, czyli zestaw narzędzi do budowy agentów głosowych działających w czasie rzeczywistym. Jak opisuje The Decoder, w skład pakietu wchodzą trzy elementy: model rozpoznawania mowy Voxtral Small Transcribe 3, model syntezy mowy Voxtral Mini TTS 3 oraz SDK dla agentów głosowych oparte na LiveKit. Całość ma tworzyć jeden strumieniowy potok, w którym agent słucha, myśli, korzysta z narzędzi i odpowiada.

Sedno zapowiedzi nie leży w pojedynczym modelu, lecz w próbie zamknięcia całego łańcucha rozmowy głosowej w jednym stosie. Mistral oferuje wszystko od siebie. Według dokumentacji Voice Agents SDK pipeline obejmuje przechwytywanie głosu, transkrypcję, generowanie odpowiedzi i odtwarzanie audio.

Co potrafią poszczególne elementy

Transkrypcja obejmuje ponad 50 języków. Mistral określa Voxtral Small Transcribe 3 jako model o najwyższej dokładności w transkrypcji wielojęzycznej i diarizacji, czyli rozpoznawaniu, kto w danym momencie mówi. To deklaracja producenta; niezależnych porównań w materiale nie ma. Cena zaczyna się od 0,0035 USD za minutę.

Synteza mowy wspiera ponad 35 języków i 50 dialektów, z adaptacją emocji w głosie. Z researchu wynika też kilka parametrów technicznych, które w agentach głosowych mają duże znaczenie:

• opóźnienie przetwarzania w TTS wynosi około 90 ms,
• czas do pierwszego fragmentu audio to około 0,8 s dla formatu PCM i około 3 s dla MP3,
• model potrafi sklonować głos z próbki trwającej 2–3 sekundy.

Według podanych parametrów pierwszy fragment audio w formacie PCM pojawia się w tym rozwiązaniu szybciej niż w MP3. Szczegóły opisano w dokumentacji text-to-speech.

Agent, który nie tylko mówi

Agenci mogą sięgać do zewnętrznych systemów w trakcie rozmowy – źródło podaje przykłady rezerwacji wizyty czy sprawdzenia faktur. To odróżnia produkt od zwykłego lektora czy transkrybera: model ma nie tylko rozumieć i odpowiadać, ale też wykonywać zadania w systemach firmy, zanim rozmówca się rozłączy.

Dane pod kontrolą

Mistral mocno akcentuje kwestię kontroli nad danymi. System można uruchomić na własnej infrastrukturze albo korzystać z API hostowanego w UE. Możliwość wdrożenia na własnej infrastrukturze lub korzystania z API hostowanego w UE może mieć znaczenie dla firm podlegających wymogom regulacyjnym. Dla europejskiego dostawcy to także naturalne pole odróżnienia się od amerykańskich konkurentów, choć w materiale nie ma bezpośrednich porównań.

To nie jest nowa linia produktów

Voxtral 3 nie pojawił się znikąd. Voxtral Speech 3 i Voxtral Small Transcribe 3 figurowały już we wrześniu na stronie Mistrala z przeglądem modeli, a w kwietniu firma opisywała na swoim blogu projektowanie asystenta speech-to-speech opartego na Voxtral TTS i streamingu. Premiera z 20 października jest więc raczej domknięciem układanki: modele zyskały wspólne SDK i pozycjonowanie jako gotowy pakiet do zastosowań produkcyjnych.

Pełny opis oferty znajduje się w komunikacie Mistrala oraz w dokumentacji audio.