Iluzja researchu: Agenci AI wolą potwierdzać własne domysły niż szukać faktów

Zamiast wnikliwie przeszukiwać sieć, nowe modele sztucznej inteligencji traktują internet jak lustro, w którym chcą zobaczyć jedynie potwierdzenie swoich „przekonań”. Choć producenci promują agentów AI jako autonomicznych badaczy, najnowsze dane rzucają cień na te obietnice. Mechanizm znany jako intrinsic knowledge dependence (IKD) sprawia, że modele takie jak GPT czy Gemini są głęboko uzależnione od wiedzy zakodowanej podczas treningu, co zamienia rzetelny research w szybkie przywoływanie wspomnień z bazy danych.

Benchmarki pod lupą: Dlaczego wyniki są zawyżone?

Tradycyjne testy sprawności modeli, jak BrowseComp, stały się ofiarą własnej statyczności. W miarę jak kolejne generacje AI uczą się na nowszych zbiorach danych, pytania z benchmarków trafiają do ich pamięci trwałej. To sprawia, że to, co bierzemy za sprawny proces wyszukiwania informacji, jest w rzeczywistości jedynie recytacją zapamiętanych faktów. Testy ujawniły, że model MiniMax M2.5 potrafi rozwiązać niemal 45% zadań z BrowseComp bez żadnego dostępu do sieci. Korzysta po prostu z „wewnętrznej encyklopedii”.

Sytuacja zmienia się drastycznie, gdy usunie się możliwość drogi na skróty. W nowym badaniu wykorzystano LiveBrowseComp – dynamiczny zestaw 335 pytań o wydarzenia z ostatnich 90 dni, takich jak niszowe aktualizacje baz danych bezpieczeństwa. Wynik? Skuteczność modeli odciętych od wyszukiwarki spadła poniżej 2%. Bez „ściągawki” w pamięci, agenci musieli zmierzyć się z realnym wyszukiwaniem i polegli na całej linii. Jak zauważają eksperci z portalu Testerzy.pl, „modele opierają się na danych treningowych, które szybko się dezaktualizują”.

Pułapka potwierdzenia i paraliż wyszukiwania

Jednym z najbardziej niepokojących wniosków jest zachowanie agentów w sytuacji, gdy wyszukiwarka nie dostarcza wyników potwierdzających ich początkowe założenia. Paradoksalnie, dostęp do narzędzi potrafi pogorszyć jakość odpowiedzi. Modele, które znały właściwą odpowiedź dzięki intuicji, nagle ją porzucały, jeśli w sieci nie znalazły natychmiastowego potwierdzenia swojej tezy. Przykładowo, model Kimi-K2.6 traci niemal całą skuteczność (spadek z 25,5% do 2,3%), gdy nie otrzymuje wspierających dokumentów.

Analiza ścieżek wyszukiwania pokazuje, że ponad połowa zapytań generowanych przez AI wynika z własnego toku rozumowania modelu, a nie z analizy znalezionych dowodów. Nawet jeśli agent trafi na istotne fakty, włącza je do argumentacji rzadziej niż w jednej trzeciej przypadków. Cykl pracy AI napędza hipoteza, a nie twarde dowody płynące z otoczenia.

Rywalizacja gigantów w nowej rzeczywistości

Warto spojrzeć na najnowsze starcia gigantów przez pryzmat tych ograniczeń. Według danych CometAPI, Gemini 2.5 Pro osiąga 18,8% w teście Humanity’s Last Exam bez użycia narzędzi, podczas gdy GPT-4.5 notuje zaledwie 6,4%. Gemini wygrywa też w testach rozumowania matematycznego (92% w AIME 2024), co sugeruje, że niektóre modele radzą sobie z logiką lepiej niż z samym procesem kwerendy.

Roszada w rankingach po zastosowaniu testów na „żywym” internecie jest wymowna. Modele uznawane za liderów w statycznych testach, jak GLM 5.1, spadły do środka stawki na rzecz rozwiązań lepiej radzących sobie z nowymi danymi. To jasny sygnał dla branży: wysokie pozycje na obecnych listach przebojów mówią więcej o objętości bazy treningowej niż o realnej inteligencji operacyjnej. Dopóki systemy oceny nie zaczną nagradzać rzetelnej analizy źródeł, agenci AI pozostaną raczej sprawnymi encyklopedystami niż godnymi zaufania analitykami.