Audio8-TTS-Realistic: model do klonowania głosu z 0,6 mld parametrów i licencją Apache 2.0

Edge0 udostępnił Audio8-TTS-Realistic, drugi model z rodziny Audio8 w rozmiarze 0,6 mld parametrów. Według dokumentacji Edge0 wagi i kod są dostępne na licencji Apache 2.0. Model klonuje głos zero-shot, czyli na podstawie jednego nagrania referencyjnego i jego dokładnej transkrypcji. Potrafi też generować mowę bez głosu referencyjnego. Repozytorium na GitHubie zawiera checkpoint, 44,1-kHz kodek audio, tokenizer, procesor i własny kod do Transformers.

Poprzednia wersja, Preview, obsługiwała 11 języków. Realistic dodaje 12: arabski, fiński, hindi, indonezyjski, malajski, norweski, portugalski, rosyjski, szwedzki, tajski, turecki i wietnamski. Razem daje to 23. Interfejs inferencji pozostał ten sam.

Architektura i trening

Model ma około 601 mln parametrów w głównym komponencie (bez kodeka) i kontekst do 2048 pozycji. Opiera się na architekturze dual-autoregressive (DualAR), inspirowanej Fish Audio S2 Pro. Według raportu technicznego wolna gałąź bazuje na Qwen2.5 0.5B (24 warstwy, szerokość 896, ok. 21,5 klatki na sekundę) i przewiduje tokeny tekstu oraz pierwszy kodebook audio. Płytka, czterowarstwowa gałąź szybka dopowiada równolegle pozostałe dziewięć kodebooków. Sekwencyjne obliczenia odbywają się więc tylko na poziomie klatek.

Najciekawszy jest ostatni z trzech etapów treningu. Po wielojęzycznym fine-tuningu nadzorowanym i etapie GRPO z nagrodą łączącą WER (waga 0,7) i podobieństwo głosu (0,3) autorzy dodali kolejny etap GRPO, sterowany wyuczonym „krytykiem realizmu”. Uzasadniają to tym, że WER i podobieństwo mówcy nie wychwytują rytmu, pauz i tempa, więc model może mieć dobre wyniki obu metryk i nadal brzmieć syntetycznie.

Krytyk ocenia każdą wypowiedź na tle ludzkiego nagrania tego samego zdania. Ma ok. 3 mln parametrów nad zamrożonym enkoderem WavLM-large. Uczono go na „drabinie jakości” zbudowanej z sześciu open-source’owych systemów TTS, uszeregowanych w prywatnym teście odsłuchowym, a na szczycie były nagrania ludzi. Strata „identity-erasure” ma zapobiegać nagradzaniu charakterystycznych śladów generatora. Kara za długość, naliczana powyżej 1,35-krotności nagrania referencyjnego, blokuje oszukiwanie krytyka przez zwalnianie mowy.

Wyniki, także te słabsze

Wszystkie liczby są raportowane przez samego Edge0 (im niższy błąd, tym lepiej):

• Seed-TTS (angielski i chiński): średni błąd 1,25%, podobieństwo mówcy (SIM) 0,704;
• CV3 (9 języków): 4,86%, SIM 0,661;
• MiniMax (24 języki): 5,89%, SIM 0,754.

Na CV3 Audio8 wyprzedza VoxCPM2 (5,35%), CosyVoice3-1.5B (6,89%) i Qwen3-TTS-1.7B (7,73%). Na MiniMax zostaje za modelami klasy 4B. Najgorsze wyniki to 48,57% WER dla tajskiego na CV3 i 31,35% CER dla kantońskiego na MiniMax. Dodany właśnie tajski jest więc w praktyce słabo obsługiwany. Sam Edge0 nazywa swoje zestawienie porównaniem referencyjnym, bo potoki ewaluacji i normalizacja tekstu różnią się między modelami.

Uruchomienie

Zalecany jest GPU z CUDA; model przetestowano na NVIDIA H20 w BF16. Wymagane są PyTorch 2.5+ i Transformers 4.57+ oraz trust_remote_code=True. Repozytorium oferuje CLI, batching i skrypty do fine-tuningu, a do serwowania na GPU adapter SGLang Omni z paged attention, dynamicznym batchingiem i API /v1/audio/speech kompatybilnym z OpenAI.

Raport podaje też szczytowe zużycie pamięci 1,1–1,2 GiB na CPU Apple M2 w wersji INT4 ONNX. Publicznego eksportu ONNX dla wariantu Realistic jeszcze nie ma, więc nie wiadomo, czy te liczby będzie można powtórzyć na gotowym modelu.

Szczegóły techniczne i wyniki testów, które podajemy za deklaracjami twórców modelu, opisano na portalu MarkTechPost.