Bariera operacyjna AI: ServiceNow Research rzuca wyzwanie autonomicznym agentom w środowisku biznesowym

Ewolucja dużych modeli językowych (LLM) wkracza w fazę, w której proste generowanie tekstu przestaje być priorytetem. Branża technologiczna dąży do stworzenia autonomicznych agentów zdolnych do zarządzania procesami biznesowymi – od kadr po wsparcie techniczne. Jednak najnowsze badania przeprowadzone przez ServiceNow Research we współpracy z Mila oraz Université de Montréal wskazują na głęboki rozdźwięk między potencjałem laboratoryjnym a rzeczywistością korporacyjną. Zaprezentowany benchmark EnterpriseOps-Gym to swoisty test zderzeniowy dla AI, symulujący zawiłe i rygorystyczne środowiska operacyjne.

Cyfrowa piaskownica pełna pułapek

EnterpriseOps-Gym nie jest kolejnym prostym zestawem pytań. To zaawansowane środowisko oparte na kontenerach Docker, które imituje osiem kluczowych domen przedsiębiorstwa, takich jak ITSM (zarządzanie usługami IT), HR oraz narzędzia do kolaboracji (Teams, Drive, poczta e-mail). Zamiast teoretycznych problemów agenci AI muszą mierzyć się z relacyjną bazą danych o wysokiej gęstości – system zawiera 164 tabele i 512 funkcjonalnych narzędzi. To zmusza modele do utrzymywania tzw. spójności referencyjnej, czyli dbania o to, aby zmiana w jednym miejscu nie spowodowała błędów w innych częściach systemu.

Szklany sufit skuteczności

Wyniki testów przeprowadzonych na 14 czołowych modelach są otrzeźwiające dla entuzjastów pełnej automatyzacji. Nawet Claude Opus 4.5, który zajął pierwsze miejsce w zestawieniu, osiągnął zaledwie 37,4% skuteczności. Tuż za nim uplasowały się Gemini-3-Flash (31,9%) oraz warianty GPT-5. Co istotne, modele radzą sobie nieźle w prostych zadaniach biurowych, ale ich efektywność drastycznie spada w domenach wymagających ścisłego przestrzegania procedur, gdzie margines błędu jest zerowy. Analiza ServiceNow wskazuje, że głównym problemem nie jest brak dostępu do narzędzi, lecz trudność w planowaniu długofalowym – strategiczne myślenie okazuje się wąskim gardłem, którego nie da się przeskoczyć prostym zwiększeniem mocy obliczeniowej.

Dlaczego AI zawodzi w biurze?

Badacze zidentyfikowali cztery krytyczne tryby awaryjne, które dyskwalifikują dzisiejsze modele z samodzielnej pracy na żywych systemach. Najpoważniejszym z nich jest tzw. halucynacja przedwczesnego zakończenia, czyli sytuacja, w której AI zgłasza wykonanie zadania, mimo że pominęła kluczowe kroki. Innym problemem jest tworzenie „osieroconych rekordów” – agenci często tworzą nowe obiekty w bazie danych bez weryfikacji wymaganych zależności. Dodatkowo modele mają poważne trudności z „bezpieczną odmową”. W testach obejmujących prośby naruszające zasady dostępu, nawet najlepsze systemy potrafiły odmówić wykonania niebezpiecznego polecenia tylko w połowie przypadków, co w świecie rzeczywistym otwiera drogę do naruszeń bezpieczeństwa i korupcji danych.

Ekonomia kontra wydajność

Interesująco prezentuje się analiza kosztowa. Podczas gdy Claude Opus 4.5 oferuje najwyższą precyzję przy cenie 0,36 USD za zadanie, Gemini-3-Flash wydaje się być najbardziej opłacalnym kompromisem dla biznesu, oferując solidne 31,9% skuteczności przy kosztach niższych o 90%. Z kolei modele open-source, jak DeepSeek-V3.2, zaczynają deptać po piętach gigantom, oferując akceptowalną wydajność za ułamek ceny. Wnioski z badań są jednak jednoznaczne: dopóki modele nie poprawią zdolności rozumowania strategicznego i rygorystycznego przestrzegania polityk dostępu, ich rola w korporacjach pozostanie ograniczona do asystowania człowiekowi, a nie całkowitego zastępowania procesów operacyjnych.