Ripple-65B Preview: gęsty model do kodowania agentowego na licencji Apache 2.0
Firma Ricursive Intelligence opublikowała model językowy Ripple-65B Preview, ukierunkowany na zadania z zakresu inżynierii oprogramowania oraz programowania autonomicznego. Model został udostępniony w serwisie Hugging Face na w pełni otwartej licencji Apache 2.0, w wersjach bazowej oraz dostrojonej instrukcyjnie (BF16), a także w zoptymalizowanym formacie kwantyzacji NVFP4.
W przeciwieństwie do dominującego obecnie trendu budowania architektur Mixture-of-Experts (MoE) o setkach miliardów parametrów, Ricursive Intelligence postawiło na klasyczny model gęsty (dense Transformer) liczący 65 miliardów parametrów. Zespół wytrenował go od zera na korpusie złożonym z 12 bilionów tokenów tekstu oraz kodu, zapewniając przy tym obsługę kontekstu sięgającego ponad 1 miliona tokenów (1 048 576). Architektura wykorzystuje 80 warstw przy wymiarze ukrytym 5120, rozwiązania wzorowane na Gemma 3N, mechanizm gated attention oraz zmodyfikowane proporcje warstw uwagi przesuwnej (SWA).
Wybór gęstej architektury miał zminimalizować złożoność infrastrukturalną na etapach pre-trainingu i post-trainingu. Według dokumentacji modelu Ripple-65B Preview uzyskał wynik 80,52 punktu w benchmarku TerminalBench 2.1, co stawia go w czołówce amerykańskich modeli o otwartych wagach w tej kategorii. Osiągnięty rezultat przewyższa wyniki uzyskiwane przez znacznie większe modele, takie jak Reflection Beam 501B (80,1 pkt), Meta Muse Spark Open 816B (76,4 pkt) czy NVIDIA Nemotron 3 Ultra 550B (56,4 pkt). Wysoką sprawność odnotowano również w teście SWE-bench Pro v2.0 Hard, gdzie Ripple osiągnął 79,1 punktu.
Według Ricursive Intelligence całkowite koszty prac badawczo-rozwojowych oraz treningu modelu wyniosły 32 miliony dolarów, a nad projektem pracował zespół liczący w trakcie prac od jednej do pięciu osób.
Istotnym atutem mniejszej skali parametrów jest ułatwione wdrażanie lokalne. Model zoptymalizowano z myślą o procesorach graficznych Nvidii – na parze akceleratorów B200 osiąga 250 tokenów na sekundę w precyzji BF16 przy rozmiarze wsadu równym 8. Z kolei dzięki udostępnieniu wariantu NVFP4 model można uruchomić na mniejszych stacjach roboczych, takich jak Nvidia DGX Spark. W ten sposób autonomiczni agenci AI zyskują otwarte zaplecze do operacji na kodzie, które można wdrożyć na własnej infrastrukturze bez konieczności polegania na zamkniętych interfejsach API.
