Eleven Realtime: ElevenLabs wchodzi w modele speech-to-speech z odpowiedzią poniżej sekundy

ElevenLabs przedstawiło rodzinę Eleven Realtime, czyli dwa modele speech-to-speech przeznaczone do rozmów z AI na żywo. Jak opisuje The Decoder, wariant v1 Max uzyskuje 98,8 proc. w benchmarku Big Bench Audio, a czas odpowiedzi wynosi 0,57 sekundy. Firma twierdzi, że w rankingu Artificial Analysis nie ma obecnie modelu, który byłby jednocześnie szybszy i dokładniejszy.

Na wykresie Artificial Analysis Speech to Speech v1 Max znajduje się blisko lewego górnego rogu, czyli tam, gdzie łączą się wysoka trafność i niskie opóźnienie.

Mini do rozmowy, Max do trudniejszych zadań

Modele mają różne role. Mniejszy v1 Mini jest zaprojektowany z myślą o naturalnych rozmowach przy niższych kosztach. Według źródła potrafi odróżnić moment, w którym rozmówca skończył mówić, od chwili, gdy rzuca tylko „mhm”. Tak drobna rzecz robi w praktyce dużą różnicę, bo agent, który wchodzi w słowo po każdym przytaknięciu, szybko irytuje.

v1 Max jest kierowany do bardziej złożonych scenariuszy, na przykład obsługi klienta. Na stronie produktu firma wymienia też kwalifikowanie leadów i opisuje całość jako nową klasę modeli speech-to-speech, w której rozpoznawanie mowy, zarządzanie turami rozmowy, model językowy i głos są dostrajane razem, end-to-end.

Dostępność i cena

Oba modele działają w platformie ElevenAgents i przez Realtime API zgodne z interfejsem OpenAI. Dla zespołów, które mają już zbudowane agenty na tym standardzie, ułatwia to przetestowanie rozwiązania ElevenLabs. Rozliczenie jest dwuskładnikowe: opłata za minutę plus koszt tokenów. Max kosztuje więcej niż Mini. Konkretne stawki firma podaje w cenniku API.

Jak czytać te liczby

ElevenLabs od jakiegoś czasu mocno gra rankingami Artificial Analysis. Przy modelach text-to-speech chwaliło się pierwszym i drugim miejscem Eleven v4 oraz v4 Turbo, o czym pisało na X, a w blogu przywoływało preferencje około 75 proc. słuchaczy w ślepych testach. Eleven Realtime przenosi tę samą narrację na grunt rozmów w czasie rzeczywistym.

Warto jednak nie mieszać różnych pomiarów. Dokumentacja podaje dla Flash v2.5 około 75 ms, a dla Eleven v4 Turbo około 100 ms mediany opóźnienia inferencji. To parametry generowania głosu. Wynik 0,57 s dla v1 Max dotyczy odpowiedzi w całej rozmowie, więc tych liczb nie należy zestawiać wprost. Przy agentach głosowych liczy się właśnie ten drugi czas, bo to on decyduje o tym, czy rozmowa brzmi naturalnie.