Bariera 3 procent: Nowy benchmark obnaża bezradność AI w realnej pracy biurowej

Obietnice o masowym zastępowaniu pracowników umysłowych przez algorytmy właśnie zderzyły się z brutalną rzeczywistością. Najnowszy test AA-Briefcase, opracowany przez ośrodek Artificial Analysis, to kubeł zimnej wody dla entuzjastów automatyzacji. Wyniki są bezlitosne: nawet najbardziej zaawansowane systemy AI radzą sobie z kompleksowymi, wielodniowymi projektami w zaledwie 3 procentach przypadków.

Dlaczego to ważne właśnie teraz? Branża znajduje się w punkcie zwrotnym, gdzie marketingowy szum zderza się z twardymi danymi empirycznymi. Rośnie presja, by odróżnić efektowne pokazy możliwości od realnej przydatności biznesowej. Zwłaszcza że, jak zauważa Xpert Digital, zaledwie 5% pilotażowych projektów AI trafia ostatecznie do fazy produkcyjnej. Firmy zaczynają rozumieć, że inteligencja w czatach to nie to samo, co rzetelność w arkuszu kalkulacyjnym.

Chaos informacyjny pokonuje algorytmy

AA-Briefcase to nie jest kolejny prosty quiz. To symulacja prawdziwego biura, w którym model musi przekopać się przez tysiące rozproszonych plików: wątki na Slacku, e-maile, notatki ze spotkań i potężne bazy danych. W tym gąszczu sztuczna inteligencja gubi się niemal natychmiast. Na 91 przeanalizowanych zadań, w aż 31 przypadkach żaden z testowanych modeli nie przekroczył progu 50 procent poprawności. Systemy po prostu nie potrafią połączyć kropek, gdy te znajdują się w różnych folderach.

Różne twarze porażki

Analiza błędów pokazuje, że ewolucja AI nie rozwiązuje wszystkich problemów. Słabsze modele, jak DeepSeek V4 Flash, wykładają się na podstawach – nie potrafią odnaleźć właściwych plików. Modele z wyższej półki, jak lider zestawienia Claude Fable 5 od Anthropic, zawodzą w sposób bardziej subtelny. Choć realizują główne wytyczne, ignorują detale ukryte między wierszami. W profesjonalnym środowisku, gdzie jeden przeoczony zapis w umowie generuje straty, taka praca jest bezużyteczna.

Ekonomiczny absurd wydajności

Dramatycznie prezentuje się rachunek ekonomiczny. Rozpiętość kosztów między najtańszym a najdroższym modelem w benchmarku jest 800-krotna. Podczas gdy DeepSeek kosztuje kilka centów za zadanie, koszt operacji Claude Fable 5 przekracza 31 dolarów. Płacenie ponad 120 złotych za zadanie wykonane z poprawnością na poziomie błędu statystycznego jest po prostu nieracjonalne.

Problemem są też bariery pozatechniczne. Według danych ITwiz, firmy hamują wdrożenia nie tylko z powodu kosztów, ale też brak kompetencji i niejasne korzyści. Dodatkowo polscy przedsiębiorcy, jak wynika z raportów MARR, obawiają się nadmiernej zależności od technologii. Zanim „inteligentni asystenci” faktycznie zaczną zarządzać korporacyjnym workflow, muszą najpierw nauczyć się czytać ze zrozumieniem więcej niż jeden dokument naraz.