Nvidia rewolucjonizuje rozpoznawanie mowy: Streaming Sortformer identyfikuje mówców w czasie rzeczywistym

Nvidia wkracza na nowy poziom w dziedzinie konwersacyjnej sztucznej inteligencji, prezentując Streaming Sortformer. To innowacyjne narzędzie do rozpoznawania mowy w czasie rzeczywistym, które z precyzją identyfikuje i etykietuje osoby biorące udział w spotkaniach, połączeniach oraz korzystające z aplikacji głosowych. Działa to nawet w trudnych warunkach akustycznych.

Model, zoptymalizowany pod kątem języka angielskiego i mandaryńskiego, śledzi do czterech mówców jednocześnie z dokładnością do milisekund. To otwiera nowe możliwości w obszarze analizy konwersacji, automatyzacji i poprawy jakości interakcji głosowych.

Kluczowe funkcje i możliwości

Streaming Sortformer odróżnia się od tradycyjnych systemów rozpoznawania mowy działaniem w czasie rzeczywistym, bez konieczności przetwarzania wsadowego. Oznacza to, że każda wypowiedź jest natychmiast oznaczana etykietą mówcy (np. spk_0, spk_1) i precyzyjnym znacznikiem czasu. Niskie opóźnienia są kluczowe dla transkrypcji na żywo, inteligentnych asystentów i analizy w centrach kontaktu, gdzie liczy się każda milisekunda.

• Rozpoznawanie do czterech mówców: System śledzi do czterech uczestników rozmowy, przypisując im unikalne etykiety.
• Akceleracja GPU: Pełna optymalizacja dla kart graficznych NVIDIA, integracja z platformami NVIDIA NeMo i NVIDIA Riva umożliwia skalowalne wdrożenia produkcyjne.
• Wsparcie dla wielu języków: Model zoptymalizowany dla języka angielskiego, wykazuje obiecujące wyniki w przypadku danych z Mandarin, a nawet w zbiorach danych nieangielskich, co sugeruje szeroką kompatybilność językową.
• Precyzja i niezawodność: Osiąga konkurencyjny współczynnik błędów (DER), przewyższając alternatywne rozwiązania w rzeczywistych scenariuszach.

Funkcje te sprawiają, że Streaming Sortformer jest niezwykle użyteczny w wielu zastosowaniach, takich jak transkrypcje spotkań na żywo, dzienniki zgodności w centrach kontaktu, obsługa interakcji głosowych, edycja multimediów i analiza danych w przedsiębiorstwach. Wszędzie tam, gdzie kluczowe jest ustalenie, kto, co i kiedy powiedział.

Architektura i innowacje

Sercem Streaming Sortformer jest hybrydowa architektura neuronowa łącząca CNN, Conformers i Transformers.

• Przetwarzanie wstępne audio: Moduł pre-kodowania konwolucyjnego kompresuje surowe audio do postaci skondensowanej reprezentacji, zachowując istotne cechy akustyczne i redukując obciążenie obliczeniowe.
• Sortowanie z uwzględnieniem kontekstu: Wielowarstwowy enkoder Fast-Conformer (17 warstw) przetwarza te cechy, wyodrębniając charakterystyczne wektory cech dla każdego mówcy. Są one następnie przekazywane do 18-warstwowego enkodera Transformer z rozmiarem ukrytym 192, a następnie do dwóch warstw feedforward z wyjściami sigmoid dla każdej klatki.
• Arrival-Order Speaker Cache (AOSC): Rozwiązanie utrzymuje dynamiczny bufor pamięci – AOSC – w którym przechowywane są wektory cech wszystkich dotychczas wykrytych mówców. Nowe fragmenty audio są porównywane z tym buforem. Zapewnia to spójne etykiety przez całą rozmowę.
• Uczenie kompleksowe: W przeciwieństwie do systemów, które polegają na oddzielnej detekcji aktywności głosowej i grupowaniu, Sortformer jest trenowany kompleksowo, łącząc separację i etykietowanie mówców w jedną sieć neuronową.

Wdrożenie i integracja

Streaming Sortformer integruje się z NVIDIA NeMo lub Riva, zastępując starsze systemy rozpoznawania mowy. Model akceptuje standardowe audio mono 16 kHz (pliki WAV) i generuje macierz prawdopodobieństw aktywności każdego mówcy w każdej klatce – idealne do budowy niestandardowych analiz lub transkrypcji.

Zastosowania w praktyce

• Spotkania i produktywność: Generowanie transkrypcji i podsumowań na żywo, z oznaczeniem mówców.
• Centra kontaktu: Rozdzielanie strumieni audio agenta i klienta w celu zapewnienia zgodności i poprawy jakości obsługi.
• Voiceboty i asystenci AI: Umożliwienie prowadzenia bardziej naturalnych dialogów dzięki śledzeniu tożsamości mówcy i wzorców wymiany zdań.
• Media i broadcasting: Automatyczne etykietowanie mówców w nagraniach, np. do celów edycji.
• Zgodność z przepisami: Tworzenie dzienników z możliwością audytu, z podziałem na poszczególnych mówców, w celu spełnienia wymogów prawnych.

Ograniczenia

Chociaż Streaming Sortformer osiąga niski współczynnik błędów, jest obecnie zoptymalizowany dla scenariuszy z maksymalnie czterema mówcami. Wydajność może się różnić w trudnych warunkach akustycznych lub w przypadku słabo reprezentowanych języków. Architektura jest jednak elastyczna i daje możliwość adaptacji w miarę pojawiania się nowych danych treningowych.

Przyszłość

Nvidia Streaming Sortformer zmienia sposób, w jaki firmy, programiści i usługodawcy przetwarzają dźwięk z wielu mówców. Dzięki akceleracji GPU, integracji i wydajności stanowi standard rozpoznawania mowy w czasie rzeczywistym.