Hume Audio Decision API: pytasz nagranie o frustrację rozmówcy i dostajesz odpowiedź z prawdopodobieństwem

Hume, firma znana z badań nad emocjami w głosie, zaprezentowała Audio Decision API. To model, który przyjmuje surowe nagranie i odpowiada na pytania zadane zwykłym zdaniem. Wynik to odpowiedź z oceną pewności, w formie gotowej do użycia w kodzie albo przez agenta AI.

Punkt wyjścia jest prosty: contact center ocenia rozmowy według rubryk, ale pracuje na transkrypcji, czyli na samych słowach. Znikają z niej pauzy, westchnienia i sytuacje, gdy dwie osoby mówią jednocześnie, a to one często tłumaczą, dlaczego rozmowa poszła źle. Zmiana kryteriów oceny to według Hume osobny projekt: nowa rubryka, nowy pipeline, nowe ewaluacje i dni, a nawet tygodnie do pierwszej odpowiedzi.

Pytanie jako jedna linijka JSON-a

Programista pisze pytanie i listę możliwych odpowiedzi. Hume wymienia cztery typy: tak/nie („Czy klient brzmi na sfrustrowanego?”), wybór z listy (ton agenta), skalę (jak cierpliwie brzmi agent) oraz przedział czasowy (gdzie ktoś się śmieje, wzdycha lub łapie oddech). Dodanie pytania to według firmy jedna linijka JSON-a, bez etykietowania danych i douczania modelu. Do żądania można dołączyć kontekst, np. opis sytuacji, a transkrypt jest opcjonalny. Można też ustawić progi pewności powiązane z regułami biznesowymi.

Zakres pytań jest szeroki: od języka i akcentu, przez emocje i dynamikę rozmowy, po hałas w tle, zdarzenia niemowne i intencje rozmówcy (np. zwrot towaru albo rezygnacja z subskrypcji). W scenariuszu opisanym przez Hume takie oceny trafiają razem z transkrypcją do LLM-a, który decyduje, czy poczekać, dopytać, czy przekazać rozmowę człowiekowi.

Co mówią liczby, a co dokumentacja

Hume podaje, że model zgadza się ze średnią oceną panelu ludzi w 70,7 proc. przypadków, a pojedynczy oceniający – w 56,5 proc. Dane pochodzą z wstępnej ewaluacji firmy i nie mają niezależnego potwierdzenia. Model ma się opierać na dziesiątkach milionów ocen słuchaczy, zbieranych przez lata przy badaniach nad emocjami i naturalnością głosu. Firma twierdzi też, że wypada lepiej od istniejących metod pod względem trafności, szybkości i kosztu, ale w opisie nie podaje porównania ani liczb.

Największa obietnica to szybkość: zadawanie dziesiątek pytań co kilka sekund w trakcie rozmowy na żywo oraz przeszukanie archiwum 40 tys. nagrań w kilka minut, bez indeksowania i transkrypcji. Hume pisze, że takiego systemu dziś nie ma. Przy tym w sekcji o zastosowaniach sama firma zastrzega, że aplikacje działające na żywo i otoczeniowe to raczej dalsza perspektywa, rozwijana wraz z możliwościami czasu rzeczywistego. Pierwsze realne zastosowania to więc analiza nagrań, ocena modeli głosowych i agenci kaskadowi, którzy ważą werdykt audio razem z transkryptem.

Dokumentacja precyzuje ograniczenia:

• jedno żądanie obejmuje jeden plik MP3 lub WAV, od 5 sekund do 5 minut, do 25 mln bajtów;
• w żądaniu może być do 20 pytań typu tak/nie, wybór i skala oraz do 5 pytań o momenty w nagraniu;
• wiele nagrań wymaga osobnych żądań, a dłuższe trzeba dzielić na kawałki po maksymalnie 5 minut.

Rozliczenie idzie według tokenów wejściowych: liczy się audio oraz tekst pytań i kontekstu, a same odpowiedzi nie są wliczane. Odpowiedzi mają charakter probabilistyczny i według wskazówek Hume służą do progowania w kodzie. Firma opisuje m.in. strefę pośrednią („review band”), w której wynik warto sprawdzić ręcznie.

Przy ocenie głosów generowanych przez AI Hume ostrzega, by własne ewaluacje walidować na reprezentatywnych ocenach ludzi. To rozsądne zastrzeżenie, bo frustracja czy empatia to kwestie percepcji, w których słuchacze nie zawsze się zgadzają, na co wskazuje także 56,5 proc. zgodności pojedynczego oceniającego z panelem.

Dostęp do API odbywa się przez listę oczekujących. Hume udostępnia też playground, w którym można wgrać plik lub użyć wersji realtime i dodać własne pytania, a dokumentacja wspomina o SDK dla Pythona i TypeScriptu.