Nowe horyzonty w poprawie jakości mowy: Czy modele generatywne to przyszłość?
Poprawa jakości mowy (Speech Enhancement – SE) od dawna stanowi wyzwanie w dziedzinie sztucznej inteligencji. Dotychczasowe rozwiązania, bazujące głównie na przewidywaniu masek lub sygnału, często napotykały na ograniczenia w adaptowalności i efektywności. Przełomem okazało się wykorzystanie wstępnie wytrenowanych modeli audio, które dzięki ekstrakcji bogatszych, bardziej przenośnych cech audio (tzw. embeddingów) otwierają drogę do znacznie lepszej wydajności. Takie modele, jak WavLM, zmieniły perspektywę, oferując nowe możliwości.
Obecne podejścia wykorzystują te embeddingi do predykcji masek lub łączą je z danymi spektralnymi w celu zwiększenia dokładności. Równocześnie eksplorowane są techniki generatywne, gdzie sieci neuronowe – wokodery – służą do bezpośredniej rekonstrukcji czystej mowy z zaszumionych embeddingów. Problem w tym, że metody te często wiążą się z zamrażaniem wstępnie wytrenowanych modeli lub wymagają intensywnego dostrajania, co ogranicza adaptowalność i podnosi koszty obliczeniowe, utrudniając transfer wiedzy do innych zadań.
Innowacyjne podejście MiLM Plus i Xiaomi Inc.
Naukowcy z MiLM Plus oraz Xiaomi Inc. przedstawili innowacyjną, lekką i elastyczną metodę poprawy jakości mowy, która skutecznie wykorzystuje wstępnie wytrenowane modele. Ich system składa się z trzech kluczowych komponentów. Najpierw zaszumiona mowa jest przetwarzana przez zamrożony, wstępnie wytrenowany koder audio (audioencoder), który generuje zaszumione embeddingi. Następnie mały koder odszumiający (denoise encoder) oczyszcza te embeddingi, a w końcowej fazie wokoder przekształca je z powrotem w czystą mowę.
Kluczową zaletą tego rozwiązania jest fakt, że zarówno koder audio, jak i wokoder są wstępnie wytrenowane niezależnie. To sprawia, że system jest niezwykle adaptowalny do różnorodnych zadań, takich jak usuwanie pogłosu czy separacja źródeł dźwięku. W przeciwieństwie do modeli specyficznych dla danego zadania, elastyczność systemu MiLM Plus pozwala na jego szerokie zastosowanie. Co istotne, eksperymenty jednoznacznie wykazały, że modele generatywne przewyższają modele dyskryminacyjne pod względem jakości mowy i wierności głosowi mówiącego. Pomimo swojej prostoty, system jest wyjątkowo efektywny i w testach odsłuchowych przewyższył nawet wiodące modele poprawy jakości mowy dostępne na rynku.
Architektura i proces treningu
Podczas treningu koder odszumiający minimalizuje różnicę między zaszumionymi a czystymi embeddingami, które generowane są równolegle z parzystych próbek mowy, wykorzystując funkcję straty Mean Squared Error. Sam koder odszumiający został zbudowany w oparciu o architekturę ViT, z standardowymi warstwami aktywacji i normalizacji. Trening wokodera odbywa się w sposób samonadzorowany, bazując wyłącznie na czystych danych mowy. Wokoder uczy się rekonstruować przebiegi mowy z embeddingów audio poprzez przewidywanie współczynników spektralnych Fouriera, które są następnie przekształcane z powrotem w audio za pomocą odwrotnej transformacji Fouriera. Zastosowano tutaj zmodyfikowaną wersję frameworku Vocos, dostosowaną do obsługi różnych koderów audio. Całość opiera się na konfiguracji Generative Adversarial Network (GAN), gdzie generator wykorzystuje architekturę ConvNeXt, a dyskryminatory obejmują zarówno typy wielookresowe, jak i wielorozdzielcze. Trening uwzględnia również straty adversarial, rekonstrukcji i dopasowania cech. Przez cały ten proces koder audio pozostaje niezmieniony, wykorzystując wagi z publicznie dostępnych modeli, co podkreśla efektywność i uniwersalność podejścia.
Wyniki i perspektywy
Ocena systemu wykazała, że generatywne kodery audio, takie jak Dasheng, konsekwentnie przewyższały te dyskryminacyjne. Na zbiorze danych DNS1, Dasheng osiągnął wynik podobieństwa głosu mówiącego na poziomie 0.881, w porównaniu do 0.486 dla WavLM i 0.489 dla Whisper. W kontekście jakości mowy, nieinwazyjne metryki, takie jak DNSMOS i NISQAv2, wskazały na znaczną poprawę, nawet przy mniejszych koderach odszumiających. Na przykład, ViT3 osiągnął DNSMOS wynoszący 4.03 i NISQAv2 na poziomie 4.41. Subiektywne testy odsłuchowe, przeprowadzone na grupie 17 uczestników, potwierdziły doskonałą wydajność percepcyjną Dasheng, uzyskując średni wynik opinii (MOS) 3.87, przewyższając Demucs (3.11) i LMS (2.98).
Podsumowując, zaprezentowany system poprawy jakości mowy stanowi praktyczne i adaptowalne rozwiązanie, które eliminuje potrzebę pełnego dostrajania modeli. Dzięki odszumianiu embeddingów audio za pomocą lekkiego kodera i rekonstrukcji mowy z wykorzystaniem wstępnie wytrenowanego wokodera, system osiąga zarówno efektywność obliczeniową, jak i doskonałą wydajność. Ocena wyników jasno wskazuje, że generatywne kodery audio znacząco przewyższają modele dyskryminacyjne pod względem jakości mowy i wierności głosowi. Co więcej, kompaktowy koder odszumiający utrzymuje wysoką jakość percepcyjną nawet przy mniejszej liczbie parametrów. Testy odsłuchowe dodatkowo potwierdzają, że ta metoda zapewnia lepszą klarowność percepcyjną niż istniejące, najnowocześniejsze modele, co świadczy o jej skuteczności i wszechstronności w dynamicznie rozwijającej się dziedzinie AI.
