Nemotron 3.5 Transcribe: Nvidia łączy transkrypcję, tłumaczenie i rozpoznawanie mówców w jednym modelu

Sam transkrypt nie mówi, kto co powiedział, nie przetłumaczy rozmowy i często myli terminy specjalistyczne. Nemotron 3.5 Transcribe ma te problemy rozwiązywać w jednym modelu. Jak opisuje The Decoder, Nvidia udostępniła go jako model open-weight. Transkrybuje nagrania w 40 językach, 31 z nich tłumaczy na angielski lub z angielskiego, a mówców rozpoznaje w 13 językach. Obsługuje nagrania do godziny.

Jeden model, kilka zadań

Model sterowany jest prostymi poleceniami. To samo nagranie spotkania może zamienić się w transkrypt z etykietami mówców, tłumaczenie na angielski albo podsumowanie podjętych decyzji. Model odpowiada też na pytania o treść nagrania, choć według Nvidii ta funkcja była trenowana na angielskim. Do promptu można dołączyć trudne terminy, na przykład nazwy leków. Model ma ich użyć tylko wtedy, gdy faktycznie padają w nagraniu.

Ma 30 mld parametrów, ale w jednym kroku aktywne jest około 4 mld, więc mieści się na jednym GPU Nvidii, od kompaktowego DGX Spark po sprzęt z centrów danych. Firma podaje, że na RTX PRO 6000 Blackwell Server Edition w precyzji NVFP4 model przetwarza 100 godzin audio w mniej niż trzy minuty.

Wyniki w testach

• Na angielskim Open ASR Leaderboard Hugging Face model zajmuje pierwsze miejsce wśród modeli open-weight, ze średnim WER 5,33 proc.
• W zestawieniu Artificial Analysis ma 2,81 proc. błędów, niewiele więcej niż najlepszy model otwarty, Voxtral Small Mistrala (2,77 proc.). Nvidia zużywa przy tym około jednej szóstej aktywnych parametrów.
• W teście VoiceArena na 14 systemach, w rozmowach z przerywaniem sobie nawzajem, model był pierwszy i gubił najmniej słów: 8,32 proc. przy medianie około 31 proc.
• W benchmarku David AI, mierzącym przypisywanie wypowiedzi do mówców w 21 językach, uzyskał najniższy odsetek błędów. Wyprzedził o włos własny, wyspecjalizowany model Nvidii.

Według Nvidii kilka popularnych komercyjnych usług mowy wypada gorzej. To wyniki z testów przytaczanych przez firmę i The Decoder, a nie niezależna weryfikacja wszystkich zestawień.

Ten drugi model to Nemotron 3 Diarization, opisywany przez nas we wrześniu. Rozróżnia do ośmiu mówców, także w rozmowach na żywo, ale do samej transkrypcji wymagał osobnego modelu, np. Parakeet. Nowy model łączy obie funkcje i dodaje tłumaczenie oraz rozumienie audio. Nie obsługuje jednak przetwarzania w czasie rzeczywistym i jest przeznaczony wyłącznie do nagrań.

Granary v2 i dostrajanie do medycyny

Razem z modelem Nvidia wydała zbiór Granary v2: około 844 tys. godzin mowy w 48 językach, wobec około 643 tys. godzin w 25 językach w pierwszej wersji. Każde nagranie ma kilka stylów transkrypcji. Wersja dosłowna zawiera wtrącenia typu „yyy” i liczby zapisane słowami, a oczyszczona jest bez wtrąceń i z cyframi. Nvidia udostępnia też narzędzia użyte do budowy zbioru. Zastrzega jednak, że nie pokrywa się on w pełni z danymi treningowymi modelu. Wcześniej Granary posłużył do trenowania multimodalnego Nemotron 3 Nano Omni.

Możliwości dostrajania firma pokazała na nagraniach indyjskich lekarzy i studentów medycyny. Na pełnym benchmarku dokładniejszy prompt obniżył błąd z 30,8 do 23,8 proc., a po fine-tuningu spadł on do 11,8 proc. Dane treningowe były w większości syntetyczne. Dla nieznanych modelowi mówców Nvidia podaje spadek z 22,44 do 12,17 proc., czyli o 45,8 proc. względnie. To wynik lepszy niż otwartego modelu medycznego (13,79 proc.). Cały proces zajął około 14 godzin GPU na jednym GB300.

Specjalizacja ma jednak cenę: błąd na ogólnej angielszczyźnie nieco wzrósł, a model medyczny pozostał dokładniejszy w nazwach handlowych leków. Przy budowaniu własnych wersji Nvidia zaleca odłożenie do testów co najmniej 100 prawdziwych, zweryfikowanych nagrań. Możliwości różnią się też między językami, a użytkownicy powinni wyrywkowo sprawdzać nazwy, zmiany mówców i odpowiedzi modelu.

Model i dane są dostępne na Hugging Face, jest też demo. Do dostrajania Nvidia oferuje poradniki oraz rozszerzenie, dzięki któremu asystent AI do kodowania może przeprowadzić cały proces treningu. Więcej o projekcie znajdziemy na stronie badań Nvidii. Konkurencja stawia na co innego: rodzina Voxtral Mistrala również łączy transkrypcję i rozumienie audio, ale w niedawno zapowiedzianym Voxtral 3 firma skupia się na agentach głosowych działających w czasie rzeczywistym.