Koniec marnowania pamięci RAM? EMO pozwala zredukować AI do 12% bez utraty skuteczności

Współczesne modele językowe, takie jak DeepSeek czy Qwen, opierają się na architekturze Mixture-of-Experts (MoE). Idea jest prosta: zamiast angażować miliardy parametrów do każdego zadania, model aktywuje tylko wybrane „specjalistyczne” jednostki (ekspertów). Problem polega jednak na tym, że choć obliczeniowo oszczędna, technologia ta wciąż pochłania ogromne zasoby pamięci RAM. Cały model musi pozostawać załadowany, ponieważ standardowi eksperci specjalizują się w mało przydatnych, płytkich strukturach językowych – takich jak spójniki czy interpunkcja – zamiast w konkretnych dziedzinach wiedzy.

Problem płytkiej specjalizacji

Badacze z Allen Institute for AI (Ai2) oraz UC Berkeley zdiagnozowali krytyczną słabość obecnych systemów MoE. W tradycyjnym modelu ekspert „matematyczny” często zajmuje się de facto kropkami i przecinkami w tekście naukowym, a nie samą logiką. Uniemożliwia to wycięcie zbędnych fragmentów architektury, gdy potrzebujemy modelu wyłącznie do programowania czy medycyny. Usunięcie części parametrów w standardowym MoE kończy się zazwyczaj katastrofalnym spadkiem wydajności o 10-15 punktów procentowych.

EMO: modułowość wpisana w kod genetyczny

Odpowiedzią na te bolączki jest EMO (Expert Modularity). Zespół pod przewodnictwem naukowców z Berkeley zastosował elegancki w swojej prostocie mechanizm: zamiast odgórnie narzucać kategorie tematyczne, model uczy się ich organicznie podczas treningu w oparciu o granice dokumentów. Skoro tokeny w obrębie jednego tekstu zazwyczaj dotyczą tego samego tematu, EMO zmusza je do wybierania ekspertów ze wspólnej, uśrednionej puli. Efekt? Eksperci zaczynają tworzyć spójne klastry merytoryczne dotyczące polityki, zdrowia czy recenzji filmowych, a nie tylko kategorii gramatycznych.

Wyniki eksperymentów są imponujące. EMO, mający łącznie 14 miliardów parametrów, po zredukowaniu liczby ekspertów o 75% zanotował spadek wydajności o zaledwie jeden punkt procentowy. Co więcej, przy pozostawieniu jedynie 12,5% aktywnych jednostek (16 ze 128 ekspertów), model wciąż dorównywał pełnym wersjom w testach matematycznych po krótkim dostrojeniu. To radykalny postęp względem dotychczasowych architektur, które w takich warunkach całkowicie tracą spójność logiczną.

Praktyczne korzyści dla użytkowników

Nowa architektura otwiera drogę do uruchamiania potężnych modeli na urządzeniach o ograniczonych zasobach, jak smartfony czy laptopy. Zamiast ładować setki gigabajtów danych, system mógłby dynamicznie wczytywać tylko te moduły, które są niezbędne do wykonania konkretnego zadania przez użytkownika.

Istnieje też aspekt bezpieczeństwa i kontroli. Twórcy aplikacji mogliby dosłownie „wyłączać” konkretne grupy ekspertów odpowiedzialne za generowanie niepożądanych treści, takich jak hazard czy spam. Modularność EMO ułatwia również monitorowanie pracy AI – dzięki czytelnym klastrom eksperckim widać jak na dłoni, które części „mózgu” modelu są aktywowane przez dane zapytanie. Ai2 udostępniło już kod źródłowy oraz wersje demonstracyjne modelu na platformach Hugging Face i GitHub, zachęcając społeczność do dalszych badań nad interpretowalnością i optymalizacją sieci neuronowych.