Google Vantage: AI przestało zgadywać i zaczęło mierzyć fundamenty ludzkiej inteligencji

Egzaminy standaryzowane to relikt przeszłości, który świetnie radzi sobie z weryfikacją znajomości wzorów z fizyki, ale kompletnie kapituluje przy próbie zmierzenia krytycznego myślenia lub zdolności do mediacji w zespole. Google Research właśnie postanowiło to zmienić, prezentując Vantage – protokół oparty na modelach językowych, który wkracza w obszar zarezerwowany dotąd wyłącznie dla intuicji pedagogów.

Koniec z wielokrotnym wyborem: AI jako partner w debacie

Tradycyjne testy, takie jak PISA 2015, próbowały badać współpracę za pomocą sztywnych scenariuszy i pytań zamkniętych. Efekt był przewidywalny: zerowa autentyczność. Vantage odrzuca tę metodę na rzecz ekologicznej ważności. Zamiast klikać w odpowiedzi, kandydat wchodzi w interakcję z grupą agentów AI, którzy prowadzą z nim naturalną, 30-minutową rozmowę.

To nie jest zwykły chatbot.

Kluczem do sukcesu okazała się architektura Executive LLM. Zamiast uruchamiać kilka niezależnych modeli (po jednym na każdego symulowanego kolegę z zespołu), Vantage wykorzystuje jeden centralny mózg koordynujący całą dynamikę grupy. Dzięki temu system nie czeka biernie na reakcję człowieka – on aktywnie steruje konwersacją, aby zmusić badanego do wykazania się konkretnymi umiejętnościami.

Inżynieria konfliktu

Jeśli system ma sprawdzić, jak radzisz sobie z rozwiązywaniem sporów, Executive LLM wyda jednemu z agentów polecenie: „Zacznij oponować i podważaj argumenty lidera, dopóki nie zaproponuje kompromisu”. To cyfrowy odpowiednik testów adaptacyjnych (CAT), gdzie poziom trudności nie rośnie poprzez trudniejsze pytania, ale przez coraz bardziej złożone sytuacje społeczne.

Metryki kontra rzeczywistość: Czy AI potrafi ocenić sztukę?

Dane statystyczne płynące z testów na grupie 188 uczestników oraz 280 uczniów szkół średnich są uderzające. W badaniu kreatywności – dziedzinie uznawanej za skrajnie subiektywną – system Gemini wykazał korelację Pearsona na poziomie 0,88 z ocenami ludzkich ekspertów. W świecie psychometrii to wynik bliski doskonałości, często trudny do osiągnięcia nawet przez dwóch współpracujących ze sobą ludzi.

• 92,4% skuteczności w wychwytywaniu dowodów na umiejętność zarządzania projektami.
• Zgodność Cohen’s Kappa w granicach 0,45-0,64, co stawia AI w jednym rzędzie z zawodowymi raterami z NYU.
• Osiem wymiarów kreatywności i krytycznego myślenia przeanalizowanych z identyczną precyzją.

Co ciekawe, instrukcje podawane bezpośrednio badanym ludziom – np. prośba, by skupili się na współpracy – nie miały żadnego wpływu na wynik (p > 0,6). To dowodzi, że tylko aktywne „popychanie” przez AI pozwala wydobyć z nas prawdziwe kompetencje, których nie da się udawać pod presją scenariusza.

Symulacja jako poligon doświadczalny

Vantage to także potężne narzędzie dla inżynierów ML. Zanim Google dopuściło do testów prawdziwych ludzi, system symulował studentów o niskich i wysokich kompetencjach, by sprawdzić, czy algorytm oceniający wychwyci różnice. To pozwala na błyskawiczne iterowanie nad rubrykami ocen bez wydawania budżetu na drogie badania panelowe.

Krytycznym okiem: Czy to już koniec „ludzkiego dotyku”?

Choć Vantage imponuje skalowalnością, musimy zachować czujność. Systemy te są tak dobre, jak rubryki pedagogiczne, na których je wytrenowano. Istnieje ryzyko, że modelując „idealną współpracę”, zaczniemy promować określone, uśrednione kulturowo wzorce komunikacji, spychając na margines nieszablonowe metody myślenia, które nie mieszczą się w algorytmicznej definicji konfliktu.

Niemniej, Google właśnie postawiło milowy krok. Vantage udowadnia, że AI nie jest już tylko generatorem tekstu, ale staje się miernikiem charakteru. To narzędzie, które w rękach korporacji lub systemów edukacyjnych może stać się najbardziej precyzyjnym filtrem w historii rynku pracy.