Reflection AI udostępnia wagi modelu Beam wraz z pakietem narzędzi do dostrajania

Reflection AI udostępniła na platformie Hugging Face wagi swojego modelu językowego Beam. W zapowiedzi firma informowała, że mają one zostać udostępnione na licencji Apache 2.0. Obok samych plików modelu pakiet zawiera szablony kodu do dalszego trenowania, narzędzia ewaluacyjne oraz konfiguracje ułatwiające uruchamianie systemu na własnej infrastrukturze.

Beam liczy około 500 mld parametrów. W materiałach opisujących architekturę Reflection AI twierdzi, że model osiąga wyniki zbliżone do konstrukcji czterokrotnie większych przy mniejszym zapotrzebowaniu na moc obliczeniową i pamięć. Firma nie przedstawiła jednak w udostępnionym opisie szczegółowej metodologii ani nazw benchmarków stojących za tym porównaniem.

Oprócz standardowego wariantu wag udostępniono także wersje skwantyzowane, zapisane w mniejszych jednostkach danych. Ich zadaniem jest obniżenie wymagań sprzętowych podczas wnioskowania, co jednak zazwyczaj wiąże się z pewnym kompromisem w precyzji generowanych odpowiedzi.

Udostępniony pakiet obejmuje przepisy treningowe pozwalające modyfikować zachowanie modelu pod kątem wąskich zastosowań oraz narzędzia do weryfikacji, jak wprowadzane zmiany wpływają na ogólne możliwości Beama i wbudowane zabezpieczenia. W zestawie znalazł się również tzw. drafter – mniejszy model pomocniczy do spekulatywnego dekodowania, który generuje wstępne propozycje tekstu weryfikowane następnie przez główny model, co ma ograniczać obciążenie obliczeniowe.

Do dystrybucji dołączono gotowe konfiguracje dla kilku popularnych silników inferencyjnych oraz zoptymalizowane fragmenty kodu (fused kernels) łączące powiązane obliczenia w pojedyncze operacje sprzętowe. Według deklaracji firmy sam proces trenowania Beama oparto na algorytmach automatycznie korygujących błędy w danych poprzez cofanie stanu klastra do wcześniejszych etapów, co miało pozwolić na ukończenie obliczeń przy niemal zerowym czasie przestoju.

W kolejnych wydaniach Reflection AI planuje opublikować następne procedury treningowe oparte na samodestylacji oraz udostępnić część przygotowanych rozwiązań w ramach otwartego ekosystemu narzędzi uczenia maszynowego.