Samaya Sterling: model z 3 mld aktywnych parametrów wyprzedza Claude Fable 5.1 w badaniach finansowych

Samaya AI przedstawiła Sterlinga, model do badań finansowych zbudowany na otwartym Nemotronie 3.5 Lightning od NVIDII (30 mld parametrów w architekturze mixture-of-experts, z czego aktywne są 3 mld). Na benchmarku FrontierFinance Sterling spełnia 58,9% kryteriów oceny, a Claude Fable 5.1, najlepszy w tym zestawieniu model frontierowy, 55,9%. Koszt jednego pytania to 0,61 dolara wobec 6,89 dolara. Opóźnienie jest zbliżone: 282 sekundy kontra 268.

Warto pamiętać, kto te liczby podaje. FrontierFinance stworzyła sama Samaya. FrontierFinance to publiczny benchmark z 220 pytaniami i 11 543 rubrykami opracowanymi przez ekspertów finansowych, obejmujący cały workflow inwestycyjny: screening, research, modelowanie, śledzenie portfela. Autorzy benchmarku zapewniają, że żadne pytanie z niego nie trafiło do treningu, a checkpointy wybierano na osobnej puli 100 wewnętrznych pytań walidacyjnych.

Cztery etapy treningu

Model trenowano techniką LoRA na platformie Tinker od Thinking Machines Lab. Proces miał dwa etapy nadzorowane i dwa z uczeniem ze wzmocnieniem:

• SFT na danych syntetycznych. Nauczyciel, czyli Kimi K3, odpowiedział dwukrotnie na każde z 968 syntetycznych pytań analityków, a sędzia LLM wybierał lepszą odpowiedź. Model nauczył się posługiwać 37 narzędziami, zbierać dowody i wywoływać autora raportu. Wynik wzrósł do 51,4%.
• SFT na najlepszej z ośmiu strategii. Kimi K3 odpowiadał na 1819 pytań napisanych przez ekspertów, stosując osiem różnych strategii badawczych. Do treningu trafiała najlepiej oceniona odpowiedź. Taki wybór daje średnio 80% spełnionych kluczowych rubryk, podczas gdy najlepsza pojedyncza strategia osiąga około 66%. Po odfiltrowaniu zostało 1157 pytań, a wynik modelu wzrósł do 54,8%.
• Offline GRPO. Model uczył się na kontraście między ośmioma gotowymi odpowiedziami nauczyciela, więc nie musiał niczego generować, a każdy krok był tani (57,5%).
• Online GRPO. Model odpowiadał osiem razy na każde pytanie, a ocenione próby posłużyły do aktualizacji. Tu dołożono trudniejsze pytania, w tym takie, przy których agentowi najczęściej kończył się budżet badawczy (58,9%).

Według Samayi etapy imitacyjne dały łącznie 12,3 punktu procentowego, a uczenie ze wzmocnieniem dodało kolejne 4,1. Mediana wywołań narzędzi na pytanie wzrosła z 3 do 17.

Model i narzędzia dopasowane do siebie

Autorzy podkreślają, że przewaga wynika także ze współdopasowania modelu i „harnessu”, czyli otoczenia z narzędziami. Produkcyjny zestaw Samayi ma dziesiątki narzędzi finansowych, w tym źródła danych oparte na własnych modelach wyszukiwania. Dla małego modelu go odchudzono: usunięto szczegółowe wskazówki z promptu systemowego i opisów narzędzi, a część narzędzi scalono. Długością kontekstu zarządzają dwa modele pomocnicze. Condenser skraca długie wyniki narzędzi, a compactor streszcza ślad rozumowania w miarę jego wzrostu. Budżet badawczy ogranicza czas pracy agenta, po którym autor raportu odpowiada na podstawie zebranych materiałów.

Koszt samego modelu to 0,04 dolara na pytanie. Reszta z 0,61 dolara idzie na narzędzia i modele pomocnicze. Według Samayi zamknięte modele frontierowe w tym samym harnessie kosztują za samo prowadzenie badań 0,56–0,95 dolara.

Gdzie model wciąż odstaje

Poprawa objęła wszystkie trzy poziomy trudności. Na najtrudniejszej trzeciej części pytań Sterling podniósł wynik z 31,8% do 45,2%, ale to nadal wyraźnie mniej niż średnia. Trening na pytaniach eksperckich, które w większości były łatwiejsze od benchmarkowych, poprawiał głównie łatwiejsze pytania. Trudne wymagały dodania ich do puli syntetycznej i do etapu online.

Sterling ma też tryb high-effort, w którym bada pytania głębiej. Daje 60,6% przy kosztach 1,83 dolara i czasie 372 sekund (średnia z dwóch uruchomień). Własna konfiguracja high-effort systemu Samayi kosztuje 1,81 dolara, a Sterling bez tego trybu wyprzedza ją o 2,9 punktu procentowego.

Maithra Raghu z Samayi napisała na X, że projekt zaczął się jako dwuosobowy eksperyment mający sprawdzić, czy da się zwiększyć efektywność orkiestracji agentów, a wyniki ją zaskoczyły. Zespół zapowiada, że wczesne rezultaty z większym modelem trenowanym tą samą metodą są lepsze i zostaną opisane w osobnym wpisie. Nie podano, jakie to modele ani na jakiej infrastrukturze Sterling będzie dostępny.

Wcześniej, w lipcu, Samaya opisywała FrontierFinance przy okazji premiery benchmarku, twierdząc, że jej system pokonuje Claude Fable 5 i GPT-5.6 Sol w różnych konfiguracjach kosztowych. Sterling kontynuuje ten wątek, ale z innego kierunku: zamiast budować system wokół modeli frontierowych, firma pokazuje, że w wąskiej dziedzinie wystarczy mały model wytrenowany razem z własnymi narzędziami.