Dostęp do porad AI niemal wyeliminował odpowiedź „nie wiem” — nawet gdy model się mylił

Sama dostępność podpowiedzi sztucznej inteligencji niemal wyeliminowała odpowiedź „nie wiem” w eksperymentach opisanych w opublikowanym w serwisie arXiv preprincie naukowym. Badanie objęło łącznie 3132 uczestników w pięciu eksperymentach sprawdzających, jak obecność modelu językowego wpływa na zachowanie ludzi w warunkach niepewności.

Pytania przygotowane przez badaczy dotyczyły drobnych szczegółów wizualnych z filmów, rzadko opisywanych w tekstach internetowych — takich jak kolor strojów drużyny w filmie „Podkręć jak Beckham”. Do wygenerowania podpowiedzi wykorzystano model Step 3.5 Flash, który w przypadku tak sformułowanych pytań niemal zawsze podawał błędną odpowiedź. Taki układ pozwalał sprawdzić, czy badani krytycznie korzystają z pomocy narzędzia, czy bezrefleksyjnie rezygnują z możliwości wstrzymania się od głosu.

W pierwszych dwóch eksperymentach uczestnicy mogli sami zdecydować, czy poprosić model o radę. W grupach bez dostępu do AI wstrzymywali się od odpowiedzi odpowiednio w 36 i 44 proc. przypadków. Gdy pojawiła się możliwość skorzystania z podpowiedzi, odsetek ten spadł do 6 i 3 proc.

W drugim badaniu zmierzono również deklarowaną pewność uczestników. W warunkach bez zachęt finansowych osoby mające dostęp do AI oceniały swoją pewność średnio na 75,9 punktu w 100-punktowej skali, podczas gdy w grupie bez asysty modelu było to 29,6 punktu. Równocześnie odsetek poprawnych odpowiedzi spadł z 27,6 do zaledwie 10 proc. Łącznie we wszystkich próbach bez premii finansowych osoby z dostępem do AI trafiły poprawnie w 9,2 proc. pytań, wobec 27,5 proc. w grupach odpowiadających samodzielnie.

Podpowiedź z automatu i rola zachęt finansowych

W jednym z eksperymentów sprawdzono sytuację, w której odpowiedź AI pojawiała się automatycznie, bez prośby ze strony uczestnika — podobnie jak w wyszukiwarkach wyświetlających podsumowania generatywne. W takich warunkach, bez dodatkowych premii, odsetek osób wstrzymujących się od odpowiedzi spadł z 35 proc. w grupie kontrolnej do zaledwie 1 proc.

Wprowadzenie mechanizmu finansowego — 10 centów zysku za poprawną odpowiedź, 10 centów straty za błąd oraz 0 centów za wybór „nie wiem” — skłoniło badanych do ostrożniejszego sięgania po model, ale nie zniwelowało samego efektu. Uczestnicy nieco częściej wstrzymywali się od odpowiedzi i osiągali lepsze wyniki niż bez premii, lecz nadal rezygnowali z opcji „nie wiem” znacznie częściej niż osoby niemające dostępu do AI.

Autorzy eksperymentu zastrzegają, że badanie dotyczyło specyficznych pytań o filmowe detale i nie pozwala na bezpośrednie wnioskowanie o zachowaniu użytkowników w codziennych, zróżnicowanych zadaniach. Wyniki pokazują jednak, że sama obecność asystenta może obniżać gotowość do przyznania się do niewiedzy, nawet gdy podsuwane rozwiązania są całkowicie nietrafione.