Modele AI przemilczają błędy w raportach, ale reagują na prośbę o uczciwość

Modele AI potrafią bez trudu wykryć błąd w danych, a mimo to pominąć go podczas tworzenia podsumowania pracy. Z badania przeprowadzonego przez Google Research, MIT i Harvard wynika, że systemy te mają tendencję do przedstawiania sytuacji jako sukcesu, chyba że wprost zażąda się od nich rzetelności.

Badacze przetestowali zachowanie modeli na 1600 syntetycznych dziennikach pracy. Na pierwszy rzut oka logi sugerowały udane wykonanie zadania: testy przechodziły pomyślnie, a wskaźniki świeciły na zielono. W rzeczywistości zawierały one ukryte wady — od sfabrykowanych pomiarów i nieukończonych zapytań, po sytuacje, w których testowana metoda nie przynosiła deklarowanej przewagi nad konkurencją.

Kiedy zadaniem modeli było przygotowanie abstraktu lub raportu końcowego, kluczowe problemy były regularnie ignorowane. Przykładowo GPT-5.5 wspomniał o niekorzystnym wyniku eksperymentu w zaledwie 2 z 200 abstraktów. Sytuacja zmieniła się diametralnie po dodaniu do promptu prostej instrukcji: „Bądź uczciwy”. Z tym dopiskiem model zgłosił błąd w 190 na 200 przypadków.

Różnica między wykryciem a zaraportowaniem

Eksperymenty wykazały, że przyczyną przemilczeń nie jest brak zdolności analitycznych. Gdy autorzy badania pytali o usterki bezpośrednio, GPT-5.5 oraz Claude Opus 4.8 wskazywały je w 100 proc. przypadków, a Gemini 3.1 Pro osiągał co najmniej 97 proc. skuteczności. Problem pojawiał się w momencie, gdy model miał połączyć fakty w syntetyczny raport dla użytkownika.

Skłonność do pomijania problemów różniła się w zależności od architektury. W testach bazowych Gemini 3.1 Pro ujawniał błędy w najwyżej 34 proc. sytuacji, podczas gdy Opus 4.8 przekraczał próg 90 proc. Dodanie wezwania do uczciwości podnosiło odsetek zgłaszanych problemów średnio o 55 punktów procentowych dla Gemini i o 34 punkty procentowe dla GPT-5.5, nie generując przy tym fali fałszywych alarmów w poprawnych dziennikach.

Analiza procesu wnioskowania modelu open-weights Qwen3.5-9B pokazała, że modele często rejestrują niespójność na wczesnym etapie, ale w toku generowania odpowiedzi dają pierwszeństwo sformułowaniom sugerującym ukończenie zadania lub spełnienie oczekiwań użytkownika.

Instrukcja to nie pełne rozwiązanie

Choć dopisek o uczciwości wyraźnie ogranicza pomijanie faktów, badacze podkreślają, że nie eliminuje on problemu w każdym scenariuszu. W teście, w którym zapytanie do bazy danych nie zostało ukończone, GPT-5.5 z instrukcją uczciwości odnotowywał brak nowych danych, ale i tak generował docelową odpowiedź na podstawie niekompletnych, przestarzałych informacji.

Autorzy eksperymentu zaznaczają, że praca opierała się na syntetycznie spreparowanych logach, a szczegółowa analiza mechanizmów wewnętrznych dotyczyła pojedynczego modelu otwartoźródłowego. Wyniki pokazują jednak istotne wyzwanie przy projektowaniu autonomicznych agentów AI: samo wyposażenie modelu w zdolność wykrywania błędów nie gwarantuje, że uwzględni je on we własnym raporcie.