Czy testy AI odzwierciedlają ich realne możliwości? Eksperci wzywają do zmiany podejścia do oceny systemów.

Wraz z pojawianiem się coraz bardziej zaawansowanych systemów sztucznej inteligencji, takich jak GPT-5 od OpenAI, rośnie potrzeba rzetelnej oceny ich możliwości. Dotychczasowe testy benchmarkowe, choć szeroko stosowane, okazują się niewystarczające do kompleksowej oceny wpływu tych systemów w realnym świecie. Czy wysokie wyniki w testach programowania, matematyki czy opieki zdrowotnej przekładają się na rzeczywiste korzyści i bezpieczeństwo?

Pułapki benchmarków

Benchmarki stały się standardem w ocenie AI, ale mają swoje ograniczenia. Skupiają się na precyzji i trafności odpowiedzi, pomijając kontekst, w jakim system jest wdrażany. W efekcie koncentracja na wynikach testów może prowadzić do wypaczeń i krótkowzrocznych decyzji. Przykładem jest tzw. prawo Goodharta, mówiące, że gdy miara staje się celem, przestaje być dobrą miarą. Firmy prześcigają się w optymalizacji wyników w benchmarkach, aby przyciągnąć inwestorów, co niekoniecznie przekłada się na realną wartość ich produktów.

Zdrowie na pierwszym planie – potrzeba holistycznego podejścia

Sztuczna inteligencja ma ogromny potencjał w opiece zdrowotnej, od poprawy diagnoz po personalizację leczenia. Jednak, aby ten potencjał mógł być w pełni wykorzystany, konieczne jest zapewnienie bezpieczeństwa i skuteczności systemów AI. O ile w przypadku leków i urządzeń medycznych istnieją sprawdzone procedury oceny, o tyle w odniesieniu do AI wciąż ich brakuje. Wczesne próby wykorzystania egzaminów lekarskich jako benchmarków dla AI okazały się niewystarczające, ponieważ nie odzwierciedlały złożoności realnej praktyki klinicznej.

Nowy ekosystem oceny AI

W odpowiedzi na te wyzwania, powstają bardziej holistyczne ramy oceny, takie jak MedHELM, uwzględniające różnorodne zadania kliniczne, od podejmowania decyzji po komunikację i badania. Jednak nawet te zaawansowane narzędzia nie uwzględniają w pełni interakcji człowiek-AI w realnym świecie oraz wpływu tych systemów na gospodarkę, kulturę i społeczeństwo. Potrzebny jest nowy ekosystem oceny AI, angażujący ekspertów z różnych dziedzin – nauki, przemysłu i organizacji pozarządowych. Konieczne jest rozwinięcie i usystematyzowanie metod oceny wpływu AI w kontekście jej wdrażania, takich jak red-teaming (testowanie systemu w celu wywołania niepożądanych zachowań) i testy terenowe (testowanie w rzeczywistych warunkach). Tylko w ten sposób można zagwarantować, że rozwój AI będzie służył interesom wszystkich, a nie tylko wąskiej elity technologicznej. Jeśli sztuczna inteligencja ma rzeczywiście zrewolucjonizować nasze życie, musimy zadbać o to, by jej rozwój był rzetelnie mierzony i oceniany.