Baidu otwiera ERNIE 5.5 Flash Base: model 280B bez post-treningu i z ostrzejszą licencją

Baidu udostępniło ERNIE-5.5-Flash-Base, model bazowy w architekturze rzadkiego Mixture-of-Experts. Ma 280 mld parametrów łącznie, ale na jeden token aktywuje 14 mld. Wagi to checkpoint z końca pre-treningu, bez mid- i post-treningu, więc nie jest to model gotowy do rozmowy ani do pracy agentowej. Baidu mówi wprost, że chce dać deweloperom punkt startowy do adaptacji domenowej, strojenia instrukcyjnego i badań nad uczeniem ze wzmocnieniem. Wersja po post-treningu ma pojawić się później.

Model trenowano od zera na 33,5 bln tokenów, z kontekstem treningowym do 128 tys. tokenów. Przy fine-tuningu i inferencji obsługuje kontekst do miliona tokenów. Wagi są na Hugging Face w formatach FP8 i BF16.

Architektura nastawiona na koszt

Baidu podkreśla, że bazowy model ma być tani w dalszym trenowaniu i uruchamianiu, bo późniejsze etapy wielokrotnie próbkują z modelu, a zastosowania agentowe dokładają wieloturowe interakcje i długi kontekst. Stąd większość opisu technicznego dotyczy oszczędzania pamięci i mocy obliczeniowej. Sieć ma 43 warstwy Transformera, wymiar ukryty 4096 i 64 głowice uwagi.

• Hybrydowa uwaga. Tylko jedna warstwa na siedem widzi cały kontekst token po tokenie (Multi-head Latent Attention, z rzadką uwagą DSA). Pozostałe używają Heavily Compressed Attention, które kompresuje każde 128 tokenów do jednego wpisu w pamięci podręcznej. Według Baidu przy podobnym budżecie KV-cache połączenie HCA z MLA wypadło w testach pre-treningowych lepiej niż HCA z CSA.
• MoE z wieloma routerami. Zamiast jednego routera wybierającego ekspertów model używa kilku niezależnie inicjowanych routerów sigmoidalnych. Baidu twierdzi, że wyniki routingu lepiej korelują wtedy z faktyczną przydatnością ekspertów, a liczba aktywnych ekspertów, wykonywane przez nich operacje FLOP i ruch komunikacyjny pozostają bez zmian. W każdej warstwie poza pierwszą jest 512 ekspertów routowanych (top-10) i jeden współdzielony. Eksperci pracują w 2048-wymiarowej przestrzeni latentnej, co według Baidu mniej więcej o połowę zmniejsza ruch i obliczenia w porównaniu z ekspertami pełnej szerokości.
• Inne zmiany. Standardowe połączenia rezydualne zastąpiono mHC z czterema równoległymi strumieniami. Moduł ECHO zamiast osobnego modułu MTP wykorzystuje ostatnią warstwę samego modelu do przewidywania przyszłych tokenów i służy też jako model roboczy do dekodowania spekulatywnego. Do tego dochodzi głowica wyjściowa MultiMax i nowy tokenizer BPE o słowniku około 200 tys. pozycji, który liczby dzieli od prawej strony na grupy do trzech cyfr.

Trening przeprowadzono optymalizatorem Muon w mieszanej precyzji FP8. Korpus obejmuje wiele domen i języków, a Baidu zwraca uwagę na dane trudne do dodania później, takie jak kod na poziomie całych repozytoriów i rozumienie długiego kontekstu.

Porównania i licencja

W testach z tym samym potokiem ewaluacyjnym Baidu zestawia ERNIE 5.5 Flash Base z DeepSeek-V4-Flash-Base, Hy3-preview-Base i MiMo-V2.5-Base. Według Baidu w zadaniach z rozumowania, kodu i długiego kontekstu model ten ma dorównywać podobnie dużym otwartym modelom bazowym, takim jak DeepSeek V4 Flash czy MiMo V2.5.

Warto przyjrzeć się licencji. Według ChainCatchera ERNIE 4.5 wychodził na Apache 2.0, a 5.5 Flash dostał własną licencję. Nie zezwala ona na użycie w Unii Europejskiej, Wielkiej Brytanii i Korei Południowej. Produkty lub usługi, które przez ostatnie 12 miesięcy wygenerowały ponad 50 mln dolarów przychodu, potrzebują przed komercyjnym użyciem osobnej pisemnej zgody Baidu. Tekst znajduje się w pliku LICENSE w repozytorium modelu. Dla europejskich deweloperów to istotne ograniczenie, bo „otwarte wagi” oznaczają tu coś wyraźnie węższego niż przy poprzedniej generacji.