Bariera dialektu. MBZUAI obnaża braki globalnych modeli w rozumieniu kultury arabskiej

Większość współczesnych systemów sztucznej inteligencji deklaruje wsparcie dla języka arabskiego, jednak w praktyce granica między „wspieraniem” a realnym rozumieniem kulturowym pozostaje wyraźna. Badacze z Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) w Abu Zabi rzucili wyzwanie tej narracji, prezentując ArabCulture-Dialogue – pierwszy tak kompleksowy benchmark testujący zdolności rozumowania kulturowego modeli AI w kontekście klasycznego języka arabskiego oraz 13 narodowych dialektów.

Dlaczego to ważne teraz

Dla ponad 400 milionów ludzi dialekt to nie tylko sposób mówienia, ale fundament tożsamości. Tymczasem globalne systemy AI są trenowane głównie na literackim standardzie (MSA), który w codziennym życiu służy niemal wyłącznie do czytania wiadomości. Jeśli modele nie opanują lokalnych niuansów, pozostaną jedynie cyfrowymi tłumaczami faktów, całkowicie ślepymi na etykietę, humor czy specyfikę regionów takich jak Maghreb czy Zatoka Perska.

Kulturowy test prawdy

Badanie, zaprezentowane podczas 63. dorocznego spotkania Association for Computational Linguistics, opiera się na imponującym zbiorze danych. Zespół MBZUAI, współpracując z 26 native speakerami z 13 krajów, stworzył zbiór danych obejmujący 6 942 sceny dialogowe, 340 tysięcy słów i 12 obszarów tematycznych – od wychowania dzieci po lokalną kuchnię, rolnictwo i wesela. „To benchmark zbudowany, aby sprawdzić, czy AI rozumie kulturę arabską w taki sposób, w jaki ludzie faktycznie nią żyją” – deklarują przedstawiciele uczelni.

Wyniki eksperymentu są słodko-gorzkie dla gigantów technologicznych. Choć czołowe modele, takie jak GPT-4 czy Gemini, potrafią z 90-procentową skutecznością wskazać odpowiednią kulturowo reakcję w testach wyboru, ich sprawność drastycznie spada przy przejściu do generowania tekstu.

Gdy AI musi wygenerować odpowiedź bezpośrednio w konkretnym dialekcie, skuteczność systemów oscyluje w granicach zaledwie 50 procent. Największe trudności sprawiały modelom dialekty emiracki oraz z regionu Maghrebu. Jak zauważa profesor Fajri Koto z MBZUAI, system obsługujący język arabski nie staje się automatycznie narzędziem rozumiejącym głęboko zakorzenione kody kulturowe. „Najsilniejsze modele radziły sobie z rozpoznawaniem właściwej odpowiedzi, ale kiedy poprosiliśmy o generowanie dialektu, wydajność gwałtownie spadła” – podsumowują badacze w oficjalnym komunikacie.

Mały bodziec, duża zmiana

Interesującym wnioskiem z badań jest fakt, że modele często dysponują odpowiednią wiedzą kulturową, ale nie potrafią jej samodzielnie aktywować. Często wystarcza precyzyjne wskazanie regionu w instrukcji, by znacząco podnieść jakość generowanych treści. Najgorzej w zestawieniu wypadły mniejsze modele open-source dedykowane rynkowi arabskiemu, takie jak Jais czy SILMA, które w zadaniach dialektalnych niejednokrotnie zbliżały się do poziomu losowego zgadywania.

Prace zespołu z Abu Zabi stawiają pod znakiem zapytania uniwersalność globalnych modeli językowych. Skoro dialekt jest podstawowym narzędziem ekspresji, AI, która zawodzi w sferze etykiety i lokalnych obyczajów, pozostanie dla mieszkańców Bliskiego Wschodu narzędziem niepełnym i obcym.