AU-Harness: Nowe narzędzie do kompleksowej oceny modeli językowych opartych na dźwięku

Sztuczna inteligencja głosowa staje się kluczowym obszarem w rozwoju multimodalnej AI. Umiejętność rozumienia i przetwarzania dźwięku rewolucjonizuje interakcje między maszynami a ludźmi – od inteligentnych asystentów po interaktywne boty. Pomimo szybkiego rozwoju modeli, narzędzia do ich oceny pozostają w tyle. Istniejące benchmarki są fragmentaryczne, powolne i wąsko ukierunkowane, co utrudnia porównywanie modeli i testowanie ich w realistycznych, wieloetapowych scenariuszach.

Aby rozwiązać ten problem, zespoły z UT Austin i ServiceNow Research opracowały AU-Harness – nowe narzędzie open-source, stworzone do kompleksowej oceny dużych modeli językowych operujących na dźwięku (LALM). AU-Harness wyróżnia się szybkością, standaryzacją i możliwością rozbudowy, umożliwiając testowanie modeli w szerokim zakresie zadań – od rozpoznawania mowy po złożone rozumowanie dźwiękowe – w ramach jednej, spójnej platformy.

Dlaczego potrzebujemy nowej platformy do oceny audio?

Dotychczasowe benchmarki audio koncentrowały się na aplikacjach takich jak zamiana mowy na tekst czy rozpoznawanie emocji. Platformy takie jak AudioBench, VoiceBench i DynamicSUPERB-2.0 poszerzyły zakres, ale nadal pozostawiły istotne luki. Trzy kwestie są szczególnie problematyczne. Po pierwsze, przepustowość: wiele toolkitów nie wykorzystuje przetwarzania wsadowego ani równoległego, co znacząco spowalnia ocenę na dużą skalę. Po drugie, niespójność w definiowaniu zapytań (ang. prompts) utrudnia porównywanie wyników różnych modeli. Po trzecie, wąski zakres zadań: brakuje kluczowych obszarów, takich jak diaryzacja (określanie, kto i kiedy mówi) oraz rozumowanie oparte na mowie (wykonywanie instrukcji wypowiedzianych dźwiękiem).

Te niedociągnięcia ograniczają postęp w dziedzinie LALM, zwłaszcza w kontekście ich ewolucji w kierunku agentów multimodalnych, którzy muszą radzić sobie z długimi, wymagającymi kontekstu i wieloetapowymi interakcjami.

Jak AU-Harness poprawia efektywność?

Zespół badawczy zaprojektował AU-Harness z naciskiem na szybkość. Integracja z silnikiem wnioskowania vLLM wprowadza harmonogram żądań oparty na tokenach, który zarządza współbieżnymi ocenami na wielu węzłach. Dodatkowo, zbiory danych są dzielone na fragmenty, aby proporcjonalnie rozdzielić obciążenie między zasoby obliczeniowe.

Takie rozwiązanie zapewnia niemal liniową skalowalność ocen i pełne wykorzystanie zasobów sprzętowych. W praktyce AU-Harness oferuje o 127% wyższą przepustowość i redukuje współczynnik czasu rzeczywistego (RTF) o blisko 60% w porównaniu z istniejącymi narzędziami. Oznacza to, że oceny, które wcześniej trwały dni, teraz można ukończyć w ciągu kilku godzin.

Czy oceny można dostosowywać?

Elastyczność to kolejna kluczowa cecha AU-Harness. Każdy model w serii ocen może mieć własne hiperparametry, takie jak temperatura lub maksymalna liczba tokenów, bez naruszania standaryzacji. Konfiguracje umożliwiają filtrowanie zbiorów danych (np. według akcentu, długości dźwięku lub profilu szumów), co pozwala na precyzyjną diagnostykę.

Co najważniejsze, AU-Harness obsługuje ocenę dialogów wieloetapowych. Wcześniejsze narzędzia ograniczały się do zadań jednoetapowych, ale nowoczesne agenty głosowe działają w ramach rozbudowanych konwersacji. Dzięki AU-Harness badacze mogą testować ciągłość dialogu, rozumowanie kontekstowe i zdolność adaptacji w wieloetapowych wymianach zdań.

Jakie zadania obejmuje AU-Harness?

AU-Harness znacząco rozszerza zakres zadań, obsługując ponad 50 zbiorów danych, ponad 380 podzbiorów i 21 zadań w sześciu kategoriach:

• Rozpoznawanie mowy: od prostego ASR po długie formy wypowiedzi i mowę przełączaną (code-switching).
• Paralingwistyka: rozpoznawanie emocji, akcentu, płci i mówcy.
• Rozumienie dźwięku: rozumienie scen i muzyki.
• Rozumienie języka mówionego: odpowiadanie na pytania, tłumaczenie i streszczanie dialogów.
• Rozumowanie w języku mówionym: zamiana mowy na kod, wywoływanie funkcji i wykonywanie instrukcji wieloetapowych.
• Bezpieczeństwo: ocena odporności i wykrywanie fałszerstw.

Dwa innowacyjne rozwiązania zasługują na szczególną uwagę:

• LLM-Adaptive Diarization, które ocenia diaryzację poprzez prompting, zamiast specjalistycznych modeli neuronowych.
• Rozumowanie w języku mówionym, które testuje zdolność modeli do przetwarzania i rozumowania na podstawie instrukcji mówionych, a nie tylko ich transkrypcji.

Co benchmarki mówią o dzisiejszych modelach?

Zastosowanie AU-Harness do wiodących systemów, takich jak GPT-4o, Qwen2.5-Omni i Voxtral-Mini-3B, ujawnia zarówno mocne, jak i słabe strony. Modele osiągają doskonałe wyniki w ASR i odpowiadaniu na pytania, wykazując wysoką dokładność w rozpoznawaniu mowy i zadaniach QA. Jednak radzą sobie gorzej w zadaniach związanych z rozumowaniem czasowym, takich jak diaryzacja, oraz w złożonym wykonywaniu instrukcji, zwłaszcza gdy są one podawane w formie audio.

Kluczowym odkryciem jest luka w modalności instrukcji: gdy identyczne zadania są prezentowane jako instrukcje mówione zamiast tekstu, wydajność spada nawet o 9,5 punktu procentowego. Sugeruje to, że choć modele są biegłe w przetwarzaniu rozumowania opartego na tekście, adaptacja tych umiejętności do modalności audio pozostaje wyzwaniem.

Podsumowanie

AU-Harness stanowi ważny krok w kierunku standaryzowanej i skalowalnej oceny modeli językowych opartych na dźwięku. Łącząc wydajność, powtarzalność i szeroki zakres zadań – w tym diaryzację i rozumowanie oparte na mowie – rozwiązuje długotrwałe problemy związane z benchmarkingiem sztucznej inteligencji wykorzystującej głos. Publikacja open-source i publiczna tablica wyników zachęcają społeczność do współpracy, porównywania wyników i przesuwania granic tego, co mogą osiągnąć systemy AI oparte na głosie.