Ted Sanders z OpenAI tłumaczy, jak wybrać model GPT: zacząć od rozmiaru, potem sprawdzać

Pod premierą GPT-6.1 Terra na Hacker News pojawiło się pytanie, które wraca przy każdym wydaniu modeli: jak właściwie wybierać między nimi? Odpowiedział Ted Sanders, który przedstawił się jako pracownik OpenAI. Jego wpis jest bardziej szczery niż typowy komunikat marketingowy.

Rozmiar jako punkt wyjścia

Sanders zaczyna od tego, że wydajność LLM-ów jest wielowymiarowa. Model najlepszy w matematyce nie musi być najlepszy w żartach. Mimo to większość różnic tłumaczy według niego jedna zmienna, czyli rozmiar. Większy model jest zwykle bardziej niezawodny, droższy w przeliczeniu na token i lepiej pamięta rzadkie fakty.

Modele OpenAI są więc uporządkowane rosnąco: Luna < Terra < Sol < Astra. Jego rada na start jest prosta:

• liczy się tylko jakość: Astra,
• cena ma pewne znaczenie: Sol,
• cena ma duże znaczenie: Terra lub Luna.

Sanders zastrzega jednak, że rozmiar nie wyjaśnia wszystkiego. Później trenowane modele mogą mieć nowsze dane, techniki czy architekturę. Jako przykłady podaje inne firmy: Sonnet 5.5 w pewnych zadaniach wyprzedza Fable 5.1, a Gemini 3.8 Flash bywa lepszy od 3.1 Pro.

Gdzie plasuje się Terra

Według Sandersa Terra jest prawdopodobnie lepsza od Astry i Sola w komunikacji technicznej. W zadaniach wizualnych i obsłudze komputera jest podobna, ale znacznie szybsza. W większości pozostałych dziedzin wypada trochę słabiej. Dla deweloperów API to „środek stawki”: tańsza od Sola i wyraźnie mądrzejsza od Luny. Subskrybentom, jak pisze, nie proponuje „bomby”. Może pozwolić dłużej korzystać przed wyczerpaniem limitów albo przydać się, gdy zależy komuś na jasnym pisaniu i szybszej pracy na komputerze.

Różnicę cen widać w cenniku API. Według danych OpenAI Terra kosztuje 1 USD za milion tokenów wejściowych i 5 USD za wyjściowe. Sol to odpowiednio 2 i 10 USD, a Astra 10 i 50 USD.

„Nie wiem” zamiast słabej rekomendacji

Najciekawsza część wątku zaczyna się od pytania użytkownika atombender. Zapytał, czy do dokumentacji technicznej polecany jest Sol, i zauważył, że OpenAI nie publikuje wytycznych, na jakiej podstawie wybierać model do konkretnego zadania. Zaproponował prostą macierz modeli i kompetencji, np. pisanie, kodowanie i matematyka, z ocenami w gwiazdkach. Bez niej, jak napisał, taka wiedza staje się „folklorem przekazywanym pocztą pantoflową”.

Sanders odpowiedział, że nie wie. Terra może mieć najbardziej czytelną prozę, ale Astra może częściej wychwycić błędy. Przewaga Astry rośnie przy mniej popularnych językach lub długich listach wytycznych. Dodał, że nie chce rekomendować modelu bez wielu testów, a sam nie przeprowadził ich wystarczająco dużo. Gdy inny użytkownik zauważył, że to kiepska zachęta do wyboru modelu, wyjaśnił, że swoją preferencję mógłby sprawdzić na jednym przykładzie, ale uogólnienie jej na innych ludzi, języki i formaty wymaga danych, których nie ma. Woli, jak napisał, nie dawać żadnej rekomendacji niż słabo uzasadnioną.

Użytkownicy proponowali własne rozwiązania. Jeden radził zbudować zestaw ewaluacyjny z własnych, ręcznie opisanych danych i uruchomić na nim wszystkie rozważane modele. Inny odpowiedział, że niewielu użytkowników może lub chce to robić. Jeszcze inny pisał, że do wszystkiego używa Astry na najwyższym poziomie rozumowania, bo woli „marnować moc obliczeniową niż cykle mózgu”, co spotkało się z uwagą, że nie każdego stać na takie podejście. Kolejny skarżył się, że Astra pisze defensywnie i nieczytelnie, więc teksty akademickie poprawia innym modelem.

Dlaczego nazwy są skomplikowane

Sanders odpiera zarzuty o chaos w nazewnictwie. Jego zdaniem część złożoności wynika z samych produktów. Skalowanie rozmiaru modelu to co innego niż skalowanie wysiłku rozumowania, a to z kolei co innego niż zwiększanie liczby agentów. Zwinięcie tego do jednej etykiety w rodzaju „więcej IQ” uprościłoby nazwy, ale pogorszyłoby doświadczenie, bo ukryłoby ważne szczegóły. Zachęcił też do podsyłania pomysłów na lepsze nazwy.

Inny komentujący, GodelNumbering, uznał sam wpis Sandersa za lepszy marketing dla programistów niż typowe komunikaty firmy. Napisał, że gdy wszystko jest przełomowe i wszędzie bije rekordy, nic już takie nie jest. Przy premierze Terry chciałby zobaczyć choć jeden wykres pokazujący, w czym model jest gorszy od droższych.

Jeden fragment dokumentacji OpenAI idzie w tym kierunku. W przewodniku wyboru modeli firma zaleca Terrę do zwięzłego pisania na podstawie dostarczonych materiałów, zadań na komputerze z jasno określonym celem i punktowych poprawek w kodzie. Nie jest to jednak macierz kompetencji, o jakiej pisał atombender, a Sanders w tym samym wątku przyznaje, że sam nie ma danych pozwalających uogólnić własną ocenę na innych użytkowników, języki i formaty dokumentacji.