Baseten wypuszcza joey-1: model decyzyjny za 0,01 USD za milion tokenów

Baseten, firma oferująca infrastrukturę do uruchamiania modeli AI, wprowadziła joey-1 — najmniejszy i najtańszy model z rodziny „decision models” tworzonej przez własne laboratorium Base Labs. To model o 2 mld parametrów, dotrenowany z Qwen3.5-2B. Wagi są otwarte na Hugging Face, a model działa też w Baseten Model APIs.

Decyzja zamiast tekstu

Idea modeli decyzyjnych jest prosta. Do wielu zadań — kierowania zgłoszeń do właściwego zespołu, oznaczania podejrzanych wiadomości, zatwierdzania wniosków — nie potrzeba wygenerowanego tekstu, tylko odpowiedzi. Zwykły LLM i tak ją generuje, co według Basetena dokłada koszt i opóźnienie do każdego wywołania, a w łańcuchu decyzji te narzuty się sumują. Model decyzyjny zwraca w jednym przebiegu etykietę oraz skalibrowany wynik pewności.

Według dokumentacji model obsługuje trzy typy pytań: wybór jednej z nazwanych opcji, odpowiedź tak/nie oraz ocenę na uporządkowanej skali, np. pilności. Przyjmuje tekst i obrazy.

Liczby podane przez Basetena

• Opóźnienie: 20 ms (P50, end-to-end) dla przeciętnego zapytania o 2000 tokenów, czyli ok. 2,5 raza szybciej niż elephant-1 (49 ms). W skrócie firma twierdzi też, że joey-1 jest 5 razy szybszy od „porównywalnych” modeli decyzyjnych, nie wskazując których.
• Cena: 0,01 USD za milion tokenów, czyli jedna dziesiąta ceny mammoth-1. Przykład Basetena: klasyfikacja 10 mln zgłoszeń miesięcznie po ok. 500 tokenów (5 mld tokenów) kosztuje około 50 USD na joey-1 wobec 500 USD na mammoth-1.
• Jakość: według firmy to najsilniejszy model decyzyjny w klasie do 3 mld parametrów. Szczegóły testów Baseten zapowiada na później. Karta modelu podaje 63,30 pkt w publicznym zestawie Jev Decision Index 0.4 (miejsce 37. z 230 modeli), a więc wyraźnie mniej niż 72,24 pkt elephant-1 — to wyniki raportowane przez samą firmę.
• Kontekst: 16 tys. tokenów w Model APIs; pełne 262 tys. w dedykowanych wdrożeniach, które pozwalają też uruchamiać własne, dostrojone wagi.

Baseten domyślnie włącza w Model APIs zero data retention. Model jest również wystawiony na OpenRouterze.

Rodzina z mechanizmem eskalacji

Tydzień wcześniej Baseten wypuścił mammoth-1 (27 mld parametrów) i elephant-1 (9 mld), które reklamuje jako najwyżej oceniane modele decyzyjne w swoich rozmiarach. Wszystkie trzy trenowano na tej samej mieszance danych i łączy je to samo API, więc przejście między nimi to zmiana jednej linijki. Podział ról wygląda tak: mammoth-1 do decyzji, w których liczy się dokładność, elephant-1 jako wariant zbalansowany, joey-1 do masowych wywołań wrażliwych na opóźnienie.

Skalibrowane prawdopodobieństwa pozwalają zbudować kaskadę: joey-1 obsługuje większość przypadków, a gdy jego pewność jest niska, sprawa trafia do elephant-1 lub mammoth-1. Sam Baseten opisuje joey-1 jako model „pierwszej linii”.

Według karty modelu Basetena model trenowano na 6,21 mln przykładów decyzyjnych z funkcją straty uwzględniającą kalibrację Briera i opcją „nie wiem”. MarkTechPost zauważa, że opóźnienia różnych dostawców nie są porównywalne: Baseten mierzy je end-to-end na własnej platformie, a konkurenci podają wyniki z innych testów. Wagi na licencji MIT można też uruchomić samodzielnie na jednym GPU z CUDA.

Dodatkowe informacje o modelu są w bibliotece modeli Basetena. Dostępność joey-1 firma odnotowała też w changelogu.