Koniec złudzeń o cyfrowym sekretarzu. Nowy test Claw-Anything obnaża bezradność AI

Wizja cyfrowego asystenta, który zarządza naszym życiem, podczas gdy my śpimy, pozostaje na razie w sferze marketingu. Sztuczna inteligencja, którą karmiono nas przez ostatnie miesiące, zderzyła się właśnie ze ścianą rzeczywistości. Zespół badaczy z Huawei Technologies wraz z chińskimi ośrodkami naukowymi opublikował Claw-Anything — zestaw testów, który zamiast laboratoryjnych warunków serwuje algorytmom cyfrowe wysypisko śmieci. Wyniki wskazują jasno: gdy kończy się czysty arkusz danych, a zaczyna bałagan, AI kapituluje.

Publikacja tego benchmarku następuje w momencie, gdy giganci tacy jak OpenAI, Google czy Apple prześcigają się w obietnicach o „agentach” i rozszerzonej pamięci swoich systemów. Claw-Anything weryfikuje te deklaracje, sprawdzając zdolność do pracy w zadaniach długotrwałych i wielourządzeniowych. Okazuje się, że luka między slajdami z prezentacji a realnymi możliwościami systemów jest ogromna i samo powiększanie modeli nie wystarczy, by ją zasypać.

Bałagan, którego algorytmy nie rozumieją

Tradycyjne testy wydajności AI przypominają sterylne laboratorium. Model dostaje konkretne zadanie na „czystym biurku” i musi je rozwiązać. Claw-Anything zmienia reguły gry, wrzucając agenta AI w środek cyfrowego chaosu trwającego trzy miesiące. Zamiast kilkunastu stron tekstu, model musi przetrawić kontekst o objętości blisko 200 tysięcy słów. To symulacja codzienności, w której asystent musi przekopywać się przez e-maile, kalendarze i dziesiątki usług, aby wyłowić jedną istotną informację sprzed tygodni.

Porażka liderów rynku

Największym zaskoczeniem jest wynik GPT-5.5. Flagowy model OpenAI, projektowany z myślą o długofalowych zadaniach, uzyskał wskaźnik skuteczności pass@1 (rozwiązanie zadania za pierwszym razem) na poziomie zaledwie 34,5%. To wynik drastycznie niższy niż w popularnych, zoptymalizowanych pod marketing zestawieniach. Jeszcze gorzej sytuacja wygląda w przypadku działań proaktywnych. Tam, gdzie AI powinno samo dostrzec potrzebę użytkownika i zareagować, skuteczność spadła do 6,7%.

Bariera wielu urządzeń

Problem nie leży tylko w pamięci modeli, ale w ich braku zdolności do koordynacji działań między różnymi platformami. Claw-Anything wymaga od agentów płynnego poruszania się między systemami Android a Linux, łącząc średnio 10 różnych usług zewnętrznych w jednym zadaniu. Gdy badacze ograniczyli dostęp do narzędzi umożliwiających tę współpracę, skuteczność AI niemal natychmiast spadła do zera. Dzisiejsza sztuczna inteligencja jest więźniem pojedynczych aplikacji i nie potrafi łączyć kropek w rozproszonym środowisku cyfrowym.

Nadzieja w specjalizacji

Choć diagnoza jest surowa, badacze z Huawei dostarczyli również przepis na poprawę sytuacji. Wraz z testem udostępniono rurociąg danych treningowych. Wykorzystanie 1500 udanych scenariuszy do dotrenowania otwartego modelu Qwen3.5-27B pozwoliło podnieść jego skuteczność o blisko 24%. Dzięki temu model ten prześcignął zamknięte systemy, takie jak Claude Sonnet. To jasny sygnał dla branży: droga do prawdziwego asystenta AI nie wiedzie przez coraz większe parametry, ale przez lepsze zrozumienie struktury ludzkiej pracy i chaosu, w którym funkcjonujemy.