Anthropic znosi podatek od długiego kontekstu, modele Claude 3.5 stają się bardziej przystępne

Demokratyzacja gigantycznego okna kontekstowego

Rywalizacja na rynku dużych modeli językowych przenosi się z samej mocy obliczeniowej na pole ekonomii użytkowania. Anthropic ogłosił właśnie istotną zmianę w modelu biznesowym swoich najpotężniejszych jednostek — Opus 4.6 oraz Sonnet 4.6. Kluczową nowością jest całkowita rezygnacja z dopłat za korzystanie z okna kontekstowego sięgającego miliona tokenów. Do tej pory użytkownicy przekraczający barierę 200 tysięcy tokenów musieli liczyć się z marżą wynoszącą nawet 100 procent standardowej stawki.

Stała cena bez względu na objętość

W nowym modelu rozliczeniowym koszt przetwarzania miliona tokenów pozostaje stały, niezależnie od tego, czy nasze zapytanie jest krótką komendą, czy potężnym zbiorem danych technicznych. Dla flagowego modelu Opus 4.6 stawki utrzymano na poziomie 5 USD za wejście i 25 USD za wyjście (za milion tokenów), natomiast bardziej ekonomiczny Sonnet 4.6 kosztuje odpowiednio 3 USD i 15 USD. To strategiczny ruch, który ma zachęcić przedsiębiorstwa do karmienia AI całymi bazami wiedzy bez obawy o gwałtowny wzrost kosztów operacyjnych.

Zmianom cenowym towarzyszy znaczący skok w limitach przesyłanych mediów. Użytkownicy mogą teraz przesłać do 600 obrazów lub stron PDF w ramach jednego zapytania, co stanowi sześciokrotny wzrost względem dotychczasowego limitu stu plików. Nowe warunki obejmują szeroki ekosystem dostawców, w tym Amazon Bedrock, Google Cloud Vertex AI oraz Microsoft Foundry.

Wydajność pod lupą: benchmarking i rzeczywistość

Zwiększanie okna kontekstowego to jednak nie tylko wyzwanie finansowe, ale przede wszystkim inżynieryjne. Anthropic chwali się wynikami testu GraphWalks BFS, który weryfikuje zdolność AI do logicznego wnioskowania wewnątrz ogromnych bloków tekstu. Według deklaracji producenta Opus 4.6 wykazuje niemal zerowy spadek precyzji nawet przy pełnym wykorzystaniu miliona tokenów.

Należy jednak zachować dozę sceptycyzmu typową dla obserwatorów branży. Choć wyniki benchmarków wyglądają obiecująco, problem „zagubienia w środku” (ang. loss in the middle) oraz ogólny spadek precyzji wraz z zapełnianiem pamięci operacyjnej modelu pozostaje jednym z największych wyzwań współczesnego uczenia maszynowego. Choć Anthropic twierdzi, że ich modele osiągają najwyższą dokładność w swojej klasie, realna wartość tych usprawnień zostanie zweryfikowana przez programistów pracujących na wyjątkowo złożonych, niestandardowych strukturach danych.