Aleph Alpha udostępnia Kolibri. Nowy dwujęzyczny model trafił na otwartą licencję
Niemiecka spółka Aleph Alpha udostępniła na platformie Hugging Face pełne wagi swojego nowego modelu językowego Kolibri. Został on wydany na otwartej licencji Apache 2.0, co pozwala na pobranie wag i uruchamianie systemu we własnej infrastrukturze bez konieczności korzystania z zewnętrznego API producenta. Model przygotowano z myślą o obsłudze języka angielskiego i niemieckiego, a także o wdrożeniach w administracji publicznej i sektorach regulowanych.
Kolibri bazuje na architekturze mieszanki ekspertów (Mixture of Experts). Choć cały model liczy 78,1 mld parametrów, przy przetwarzaniu pojedynczego tokenu aktywuje jedynie 3,46 mld. W procesie wyboru uczestniczy 6 z 384 dostępnych ekspertów. Spośród 50 warstw sieci pełny mechanizm uwagi zastosowano w dziesięciu, podczas gdy pozostałe korzystają z mechanizmu okna przesuwnego o długości 512 tokenów, co ma ograniczać zapotrzebowanie na pamięć i moc obliczeniową podczas inferencji.
Istotnym elementem specyfikacji Kolibri jest obsługa długiego kontekstu, przy czym karta modelu wprowadza wyraźne rozróżnienie techniczne. Konfiguracja pozwala na przyjęcie wejścia o długości do 1 048 576 tokenów, jednak właściwa adaptacja do długiego kontekstu objęła zakres do 256 tys. tokenów. Sama firma zaleca w dokumentacji limit do 262 144 tokenów jako optymalny dla zachowania wydajności podczas serwowania modelu.
W procesie treningu wstępnego dane w języku niemieckim stanowiły 21,3 proc. zbioru, a tokenizer o słowniku liczącym 128 tys. pozycji zoptymalizowano pod kątem specyfiki niemieckich złożeń wyrazowych. Model oferuje obsługę wywoływania narzędzi zewnętrznych oraz cztery tryby głębokości wnioskowania. Wśród wewnętrznych priorytetów projektowych producent wymienia także ograniczanie halucynacji poprzez uczenie modelu powstrzymywania się od odpowiedzi w przypadku braku wystarczających danych.
Według testów opublikowanych przez Aleph Alpha, Kolibri uzyskał 75,5 punktu w ewaluacji ogólnej dla języka angielskiego oraz 70,8 punktu dla niemieckiego. Firma deklaruje, że pod względem relacji jakości do kosztów model może konkurować z systemami aktywującymi znacznie więcej parametrów. Należy jednak zaznaczyć, że zestawienia te opierają się na wewnętrznych procedurach ewaluacyjnych dostawcy i nie zostały dotąd poddane niezależnej weryfikacji.
Samo udostępnienie wag nie oznacza natychmiastowej zgodności ze standardami prawnymi czy łatwego uruchomienia w dowolnym środowisku. Do wdrożenia Kolibri we własnej infrastrukturze wymagany jest dedykowany pakiet inferencyjny Aleph Alpha oraz przygotowana przez firmę wtyczka do silnika vLLM.
