Chatboty AI: Pewność siebie, która myli

Wraz z rosnącą obecnością sztucznej inteligencji w naszym codziennym życiu, pojawiają się kluczowe pytania dotyczące jej wiarygodności. Nowe badanie przeprowadzone przez naukowców z Carnegie Mellon University, opublikowane w czasopiśmie „Memory & Cognition”, rzuca światło na intrygujące zjawisko: nadmierną pewność siebie modeli językowych (LLM), nawet w obliczu własnej niekompetencji.

Ludzka introspekcja kontra ślepa pewność AI

Badacze, pod kierownictwem Trenta Casha, porównywali sposób, w jaki ludzie i cztery popularne modele LLM (ChatGPT, Bard/Gemini, Sonnet i Haiku) oceniają swoje zdolności. Uczestnicy mieli za zadanie odpowiadać na pytania dotyczące wiedzy ogólnej, przewidywać wyniki meczów NFL lub ceremonii Oscarów, a także brać udział w grze przypominającej Kalambury, polegającej na identyfikacji obrazków. Zarówno ludzie, jak i AI wykazywali początkową tendencję do przeszacowywania swoich hipotetycznych wyników.

Kluczowa różnica ujawniła się jednak, gdy poproszono o retrowprawną ocenę ich rzeczywistych osiągnięć. „Jeśli ludzie przewidywali, że zdobędą 18 poprawnych odpowiedzi, a ostatecznie uzyskali 15, ich późniejsza ocena oscylowała wokół 16 poprawnych. Wciąż wykazywali pewną dozę nadmiernej pewności, ale w znacznie mniejszym stopniu” – wyjaśnia Trent Cash. „LLM natomiast nie tylko nie korygowały swoich oczekiwań, ale często stawały się jeszcze bardziej pewne siebie, nawet gdy ich wyniki były dalekie od ideału”.

Brak metakognicji i potencjalne ryzyka

Ten brak zdolności do samokorekty, czyli metakognicji – świadomości własnych procesów myślowych – jest istotnym problemem. Danny Oppenheimer, profesor z Carnegie Mellon University i współautor badania, podkreśla: „Kiedy AI wypowiada się z pewnością, nawet jeśli jest ona nieuzasadniona, użytkownicy mogą nie być wystarczająco sceptyczni. Ludzie intuicyjnie odczytują sygnały niewerbalne innych ludzi, wskazujące na niepewność. W przypadku AI takich wskazówek brakuje”.

Chociaż zadania użyte w badaniu – quizy czy przewidywania sportowe – wydają się być niskiego ryzyka, ich wyniki niosą ważną przestrogę. Integracja niewiarygodnie pewnych siebie, a jednocześnie błędnych systemów AI w codziennych zastosowaniach, takich jak doradztwo prawne czy informacja medyczna, może prowadzić do poważnych konsekwencji. Wcześniejsze badania wykazały, że LLM potrafią „halucynować”, generując nieprawdziwe informacje w znacznym procencie zapytań prawnych, a także wykazywać „znaczące problemy” w odpowiedziach dotyczących wiadomości.

Wyjątki i wyzwania

Badanie ujawniło również różnice między poszczególnymi modelami. Sonnet okazał się mniej nadmiernie pewny siebie niż jego konkurenci. Co ciekawe, ChatGPT-4 w teście Kalamburów dorównał ludziom, poprawnie identyfikując 12,5 z 20 odręcznych obrazków. Zupełnie inaczej wypadł Gemini, który zdołał zidentyfikować średnio zaledwie 0,93 szkicu. Co gorsza, mimo tak słabego wyniku, Gemini retrospektywnie przewidywał, że odpowiedział poprawnie na 14,40 pytań, co jest jaskrawym przykładem braku samoświadomości.

„Gemini był po prostu fatalny w Kalambury” – komentuje Cash. – „Ale co gorsza, nie zdawał sobie z tego sprawy. To trochę jak ten znajomy, który przysięga, że jest świetny w bilard, ale nigdy nie trafia”.

Co to oznacza dla użytkowników i przyszłości AI?

Dla przeciętnego użytkownika chatbotów, kluczowym wnioskiem jest konieczność zachowania sceptycyzmu. LLM nie są nieomylne. Wskazane jest, aby w przypadku ważnych pytań poprosić sztuczną inteligencję o określenie poziomu pewności swojej odpowiedzi. Nawet jeśli same LLM mają problem z kalibracją pewności, przyznanie się do niskiej pewności powinno być sygnałem ostrzegawczym dla użytkownika.

Naukowcy sugerują, że w przyszłości modele AI mogą rozwijać lepsze zrozumienie własnych zdolności, szczególnie jeśli będą trenowane na jeszcze większych zbiorach danych. Odsłanianie i analizowanie słabości, takich jak nadmierna pewność siebie, jest kluczowe dla dalszego rozwoju i ulepszania LLM. W miarę postępów, sztuczna inteligencja może w końcu rozwinąć metakognicję niezbędną do uczenia się na własnych błędach.

„Jeśli LLM będą w stanie rekursywnie określać, czy się myliły, to rozwiąże wiele problemów” – podsumowuje Cash. „Fascynujące jest to, że LLM często nie potrafią uczyć się na własnym zachowaniu. Może to wskazuje na coś wyjątkowego w ludzkim sposobie uczenia się i komunikacji”.