Jais 3: sześć modeli językowych dla arabskiego i rozpoznawanie mowy z 19 krajów

Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) i jej Institute of Foundation Models oraz firma Inception42 udostępniły Jais 3 — rodzinę sześciu modeli językowych przeznaczonych do pracy z językiem arabskim. Projekt powstał we współpracy z Cerebras Systems i obejmuje warianty o rozmiarach od 900 mln do 375 mld parametrów, a także model rozpoznawania mowy Jais Speech. Wszystkie modele udostępniono w serwisie Hugging Face.

Modele bazują na architekturze K2 Horizon i były trenowane na współczesnym standardowym arabskim, dialektach regionalnych — od państw Zatoki Perskiej po Afrykę Północną — oraz danych związanych z kulturą regionu. Twórcy deklarują, że każdy z wariantów, niezależnie od skali, dysponuje oknem kontekstowym o długości 512 tys. tokenów oraz wspólnymi zdolnościami do realizowania zadań wieloetapowych.

Rodzinę uzupełnia model Jais Speech, który obsługuje arabski standardowy oraz odmiany używane w 19 krajach. System potrafi identyfikować dialekty, uzupełniać znaki samogłoskowe w zapisie oraz radzić sobie ze zjawiskiem przełączania kodu językowego w trakcie jednej wypowiedzi. Gdy mówca wtrąca słowa po angielsku lub francusku, model zachowuje ich oryginalną pisownię w alfabecie łacińskim zamiast arabskiej transliteracji.

Ewaluację rodziny Jais 3 przeprowadzono na publicznie udostępnionym zestawie 24 testów języka arabskiego opracowanym przez zespół projektu. W tych pomiarach wariant 7-miliardowy uzyskał średni wynik 79,6 punktu w porównaniu z 56,4 punktu dla bazowego K2 Horizon. Choć wyniki wewnętrznych testów przeprowadzonych przez twórców pokazują wyraźny wpływ adaptacji językowej na rezultaty w tym konkretnym zestawie zadań, nie stanowią one niezależnie zweryfikowanego dowodu ogólnej przewagi nad innymi modelami.