MOSS-Audio: Koniec ery łączenia systemów dźwiękowych w patchwork

Zrozumienie tego, co dzieje się w nagraniu audio, to problem, który branża AI przez lata próbowała rozwiązać metodą „prowizorki”. Chcesz transkrypcji? Użyj Whisper. Chcesz analizy emocji? Dołóż kolejny model. Chcesz wiedzieć, co wydarzyło się w trzeciej minucie? Powodzenia z synchronizacją.

MOSS-Audio kończy z tą fragmentacją. Zespół MOSI.AI oraz Szanghajski Instytut Innowacji zaprezentowały model, który traktuje dźwięk jako jedną, nierozerwalną całość.

Jeden model, by rządzić falami

MOSS-Audio to fundacyjny model typu open-source, który potrafi jednocześnie transkrybować mowę, rozpoznawać charakterystykę rozmówcy, analizować stan emocjonalny na podstawie barwy głosu i interpretować zdarzenia akustyczne w tle. To nie jest tylko „słuchacz”. To system zdolny do złożonego rozumowania nad treścią audio, wspierany przez metodologię Chain-of-Thought (CoT).

W praktyce oznacza to, że możesz zapytać model o to, dlaczego rozmówca w podcaście brzmiał na poirytowanego w dziesiątej minucie, a system nie tylko znajdzie ten moment, ale przeanalizuje kontekst wypowiedzi i subtelne zmiany w barwie głosu.

Architektura, która nie gubi detali

Większość modeli audio cierpi na „utratę pamięci” o niskopoziomowych detalach akustycznych – gubią one rytm czy teksturę dźwięku na rzecz wysokopoziomowej semantyki. MOSS-Audio rozwiązuje to za pomocą dwóch innowacji.

DeepStack i wstrzykiwanie cech

Zamiast polegać wyłącznie na ostatniej warstwie enkodera, autorskie rozwiązanie DeepStack Cross-Layer Feature Injection pobiera dane z warstw pośrednich i „wstrzykuje” je bezpośrednio do wczesnych etapów modelu językowego. To pozwala zachować drobne struktury czasowo-częstotliwościowe, które zazwyczaj znikają w procesie kompresji danych.

Druga innowacja to Time-Aware Representation. Deweloperzy wprowadzili jawne tokeny czasowe bezpośrednio do procesu wstępnego treningu. Efekt? Model operuje czasem tak naturalnie, jak tekstem, co czyni go niezwykle precyzyjnym w zadaniach typu Timestamp ASR.

Liczby nie kłamią: mały, ale wściekły

Najciekawszy wniosek z testów benchmarkowych? Rozmiar to nie wszystko.

• MOSS-Audio-8B-Thinking osiąga średnią dokładność 71,08 w testach generalnego rozumowania audio.
• Dla porównania, gigantyczny Step-Audio-R1 (33B) zdobył 70,67 pkt, a Qwen3-Omni-30B zaledwie 67,91 pkt.
• Wariant 4B-Thinking bije na głowę niemal wszystkie większe modele typu „instruct-only”, udowadniając, że proces myślowy AI jest ważniejszy niż czysta liczba parametrów.

Największe upokorzenie spotkało jednak gigantów komercyjnych w kategorii lokalizacji mowy w czasie. W benchmarku AISHELL-1, MOSS-Audio-8B-Instruct osiągnął wynik 35,77 AAS, podczas gdy zamknięty Gemini-3.1-Pro zanotował katastrofalne 708,24 (im niższy wynik, tym lepiej).

Wybierz swój wariant

Projekt debiutuje w czterech wersjach, opartych na silniku Qwen3. Modele Instruct są zoptymalizowane pod szybkie, przewidywalne polecenia w systemach produkcyjnych. Z kolei wersje Thinking to maszyny do analizy – dedykowane tam, gdzie audio wymaga wieloetapowego wyciągania wniosków.

Udostępnienie wag modelu na Hugging Face to jasny sygnał: OpenMOSS chce, aby nowa era dźwiękowej inteligencji była budowana na otwartym kodzie, a nie za ścianami płatnych API.