Koniec z szukaniem po omacku. Nowy benchmark sprawdza, jak agenci AI radzą sobie w internecie

Zdolność modeli językowych do samodzielnego przeszukiwania sieci to dziś fundament nowoczesnych agentów AI. Problem w tym, że skuteczność tych działań zależy nie tylko od inteligencji samego modelu, ale przede wszystkim od jakości API wyszukiwarek, z których korzystają. Artificial Analysis uruchomiło właśnie Search Index – kompleksowy system testowy, który rzuca wyzwanie dotychczasowym liderom rynku, oceniając ich rozwiązania pod kątem jakości danych, kosztów operacyjnych oraz realnej szybkości.

Dlaczego to ważne właśnie teraz? Rynek narzędzi dla programistów AI jest zalany obietnicami bez pokrycia. Search Index pozwala wreszcie porównać dostawców takich jak Exa, Firecrawl, Tavily czy Brave w tym samym, ujednoliconym środowisku agentowym. Wyniki jasno pokazują, że wybór odpowiedniego silnika wyszukiwania bezpośrednio przekłada się na to, czy system dostarczy wiarygodnych faktów, czy zacznie konfabulować, próbując wypełnić luki w danych.

Różnica między halucynacją a faktem

W badaniu udział wzięli czołowi gracze oraz debiutujący Parallel. Metodologia była rygorystyczna: każdy system testowano przy użyciu tego samego modelu w ramach frameworka Stirrup. Wyniki pokazują przepaść dzielącą autonomiczne systemy od tych wspieranych przez wyspecjalizowane wyszukiwarki. Model odcięty od sieci zdobył w testach zaledwie 33 punkty. Dla porównania, najlepsi dostawcy, tacy jak Parallel (75 pkt) i Exa (74 pkt), niemal podwoili tę skuteczność, zbliżając się do górnej granicy wyników oscylujących w przedziale 65–75 punktów.

Koszty ukryte w tokenach

Analiza obaliła popularny mit, że tanie API wyszukiwania oznacza niższe wydatki na utrzymanie infrastruktury. Okazuje się, że wyższa jakość wyników zwracanych przez silnik drastycznie redukuje liczbę tokenów, które model musi przetworzyć, aby sformułować odpowiedź. W przypadku wersji Advanced usługi Parallel, zużycie tokenów spadło o ponad 40% w porównaniu z wersją Basic. Choć pojedyncze zapytanie do API było droższe, całkowity koszt wykonania zadania okazał się niższy o blisko 25%. To dowód na to, że oszczędność na wejściu danych generuje straty na etapie ich analizy przez LLM.

Złudna szybkość i przyszłość standardów

Interesujące wnioski płyną również z testów wydajnościowych. Najszybsze w surowych pomiarach API, Parallel (turbo), oferowało czas odpowiedzi na poziomie 0,51 sekundy. Jednak ze względu na nieco niższą precyzję wyników, agent był zmuszony wykonywać więcej iteracji, co w efekcie sprawiło, że czas ukończenia całego zadania był niemal identyczny jak w przypadku wolniejszych, ale dokładniejszych silników. Jak zauważa zespół Artificial Analysis, ich indeks ocenia, jak dostawcy API wyszukiwania wypadają pod względem jakości, kosztów i szybkości, gdy są używani przez agenta. Obecnie najlepszy balans między wydajnością a ceną oferują Parallel i Firecrawl. Publikacja tej metodologii to ważny krok w stronę ucywilizowania rynku, który do tej pory opierał się głównie na deklaracjach marketingowych.