Sztuczna inteligencja w końcu przyzna, że nie wie. MIT naprawia „toksyczną pewność siebie” modeli LLM

Sztuczna inteligencja ma problem z ego. Najpotężniejsze modele rozumujące, w tym systemy pokroju OpenAI o1, cierpią na tę samą przypadłość: serwują błędy z taką samą niezachwianą pewnością siebie, z jaką podają fakty. Dla użytkownika w medycynie czy finansach to pułapka bez wyjścia.

Koniec z rzutem monetą

Badacze z MIT CSAIL zidentyfikowali krytyczny błąd w procesie uczenia wzmocnionego (RL). Obecne systemy są trenowane binarnie: nagroda za poprawną odpowiedź, kara za błąd. To patologia, która promuje zgadywanie. Model, który dojdzie do prawdy przez czysty przypadek, otrzymuje taką samą gratyfikację, jak ten, który przeprowadził rzetelną dedukcję.

Efekt? AI uczy się, że bycie głośnym i pewnym siebie opłaca się bardziej niż ostrożność.

Metoda RLCR: Kalibracja zamiast arogancji

Rozwiązaniem jest Reinforcement Learning with Calibration Rewards (RLCR). MIT wprowadziło do funkcji nagrody tzw. wynik Briera. To matematyczny bezpiecznik, który mierzy dystans między deklarowaną pewnością modelu a stanem faktycznym. Jeśli model twierdzi, że jest pewny na 95%, a mija się z prawdą, system otrzymuje surową karę.

• Redukcja błędu kalibracji o nawet 90%.
• Zachowanie identycznej celności (accuracy) co w modelach standardowych.
• Lepsze wyniki na danych, których model nigdy wcześniej nie widział.

Dlaczego to ma znaczenie?

Model, który mówi „jestem pewny tylko w 50%”, jest nieskończenie bardziej użyteczny niż ten, który kłamie prosto w oczy. Pewność siebie stała się fałszywym sygnałem, który uniemożliwia użytkownikom podjęcie decyzji o zasięgnięciu drugiej opinii.

Standardowy trening RL nie tylko nie pomaga w kalibracji – on ją aktywnie niszczy. W miarę jak modele stają się mądrzejsze, stają się jednocześnie bardziej aroganckie. RLCR odwraca ten niebezpieczny trend, zmuszając algorytm do autorefleksji nad własnymi ograniczeniami jeszcze na etapie generowania odpowiedzi.

Wgląd w „proces myślowy”

Naukowcy odkryli coś jeszcze: zmuszenie AI do myślenia o własnej niepewności poprawia jakość samych odpowiedzi. Rozumowanie o niewiedzy nie jest tylko dekoracją; to dodatkowa warstwa danych, która stabilizuje działanie mniejszych modeli o parametrach rzędu 7 miliardów.

To rzadki przypadek w AI, gdzie dodanie sceptycyzmu nie osłabia potęgi obliczeniowej, a czyni ją bezpieczniejszą w realnym zastosowaniu.