Anthropic testuje „message threads”: Messages API nie musi już co turę przyjmować całej rozmowy

Anthropic wprowadził do Messages API tryb message threads. Jest dostępny w publicznej becie na Claude Platform, a według ogłoszenia firmy także na Claude Platform on AWS, w Claude in Microsoft Foundry i w Claude Models on Google Cloud (w wariancie zarządzanym przez Anthropic). Zmiana dotyczy tego, jak długie sesje agentów są przesyłane do modelu.

Messages API jest bezstanowe, więc przy każdym wywołaniu trzeba było przesłać całą dotychczasową historię (opisuje to primer API). Agent koderski potrafi wykonać w jednej sesji setki zapytań, a każde z nich niesie ze sobą wszystkie wcześniejsze wiadomości i wyniki narzędzi. Gdy kontekst urośnie do setek tysięcy tokenów, samo ponowne wysyłanie go wydłuża czas, zanim Claude zacznie odpowiadać.

Jak to działa

Pierwsze zapytanie z parametrem thread zawiera pełną rozmowę i otwiera wątek. Kolejne obejmują już tylko nowe wiadomości oraz identyfikator poprzedniej odpowiedzi. Anthropic trzyma wątek w pamięci serwera, w formie zaszyfrowanej i bez zapisu na dysk. Dokumentacja opisuje to jako stan rozmowy utrzymywany po stronie serwera, z operacjami create i continue (dokumentacja).

Wątek wygasa pięć minut po ostatnim zapytaniu. Wtedy klient musi wysłać całą rozmowę od nowa. Z noty wydawniczej API wynika też, że dane są usuwane najpóźniej godzinę po ostatnim użyciu.

35 procent, ale z zastrzeżeniami

Anthropic podaje, że przy zapytaniach o długości 500 tys.–1 mln tokenów mediana czasu do pierwszego tokena (TTFT) spada o około 35 proc. Pomiar dotyczy użytkowników Claude Code, u większości których message threads są już domyślnie włączone. To dane producenta, a nie niezależny benchmark. Firma nie podaje wyników dla krótszych rozmów, wskazuje tylko, że im więcej kontekstu niesie agent, tym większy potencjalny zysk.

Przyspieszenie dotyczy wyłącznie przesyłania danych. Claude nadal czyta całą rozmowę przy każdej turze, więc zużycie tokenów się nie zmienia. Obowiązują standardowe stawki i dotychczasowe limity.

Dla kogo

Anthropic wymienia trzy zastosowania:

• długo działające sesje agentów koderskich, w których każdy wynik narzędzia czy edycja pliku powiększa rozmowę,
• sesje agentów obsługujących komputer, w których zrzuty ekranu zostają w wątku zamiast być przesyłane od nowa w każdej turze,
• przepływy pracy oparte na dużej liczbie dokumentów i obrazów, w których zapytania stają się mniejsze.

Pięciominutowe okno oznacza, że rozwiązanie jest przeznaczone dla aktywnych sesji, w których liczy się opóźnienie. Przy dłuższych przerwach między turami kod klienta nadal musi przewidzieć odtworzenie pełnej rozmowy.