44 proc. głośnych twierdzeń o LLM-ach już wygasło. Stanford zmierzył, jak szybko starzeje się wiedza o AI
Badacze ze Stanfordu przetestowali 50 szeroko cytowanych twierdzeń o dużych modelach językowych na 20 modelach od ośmiu dostawców, wydanych między lipcem 2024 a wrześniem 2026. Wynik: 44 proc. wniosków już „wygasło”, czyli pierwotny efekt w nowych modelach w dużej mierze zniknął. Kolejne 34 proc. wyraźnie osłabło, 16 proc. się utrzymało, a 6 proc. wzmocniło. Pracę Owena Queena i Jamesa Zou opisał The Decoder, a kod i materiały autorzy opublikowali w repozytorium projektu.
Dla 22 wniosków z szacowaną datą wygaśnięcia średni czas życia wyniósł 15,7 miesiąca. Po roku od publikacji wygasło 16 proc. badanych twierdzeń, po dwóch latach już 39 proc.
Słabości znikają szybciej niż skłonności
Najszybciej starzeją się twierdzenia o tym, czego modele nie potrafią. W kategorii rozumowania pięć z dziewięciu wniosków uznano za wygasłe, a pozostałe cztery osłabły. Żaden nie przetrwał w pierwotnej formie. Do tej grupy należą takie klasyczne przykłady jak liczenie liter w słowie „strawberry”, arytmetyka w nietypowych systemach liczbowych, gubienie informacji w środku długiego kontekstu czy porzucanie poprawnej odpowiedzi, gdy użytkownik naciska. Autorzy podejrzewają, że w tych zadaniach istnieje jednoznacznie poprawna odpowiedź, więc twórcy modeli dostają wyraźny cel treningowy.
Dłużej trzymają się wnioski o skłonnościach i preferencjach. Spośród 11 twierdzeń, które się utrzymały lub wzmocniły, trzy dotyczą modeli w roli oceniających: faworyzują własne odpowiedzi, podobnie oceniają prace przyjęte i odrzucone oraz dają się zwieść językowej „otoczce” w streszczeniach medycznych. Kolejne trzy odnoszą się do służalczości wobec użytkownika. Wśród trwałych wyników są też lewicowe skrzywienie polityczne, niemal identyczne odpowiedzi na pytania otwarte i nierównomierny rozkład przy losowaniu liczb.
Fałszywe cytowania: od 55 proc. do zera, ale nie wszędzie
Jako studium przypadku autorzy wzięli zmyślanie źródeł naukowych. W badaniu Waltersa i Wildera z 2023 roku GPT-3.5 zmyślał 55 proc. przypisów. Stanfordzcy badacze wysłali te same prompty nowym modelom: GPT-6.1 Sol zmyślił 0 proc., Claude Sonnet 5.5 – 1 proc. Jednak Qwen3.7-Flash, również model z 2026 roku, w tym samym teście sfabrykował 69 proc. odniesień.
Autorzy przestrzegają przed czytaniem wyników jako entuzjastycznego „problem rozwiązany”. W pytaniach dwuetapowych, gdzie model musi połączyć dwa znane mu fakty, Claude Sonnet 5.5 nadal zawodzi w około 10 proc. przypadków, w których poprawnie odpowiada na oba pytania składowe. W oryginalnej pracy ChatGPT miał tu 43 proc. Osłabły też „klątwa odwrócenia” i sprzeczne odpowiedzi na sparowane pytania czasowe, ale wciąż da się je wykryć.
Uprzedzenia społeczne wypadają różnie. Lewicowe skrzywienie polityczne się utrzymuje, stereotypy płciowe i uprzedzenia wykrywane testami skojarzeń niejawnych osłabły, a w przypadku uprzedzeń wobec użytkowników afroamerykańskiej odmiany angielskiego kierunek trendu w danych się odwrócił.
Model, nie technologia
Wyniki mocno różnią się między modelami, nawet z tego samego okna premier. Wśród modeli wydanych od lipca do września 2026 liczba wygasłych twierdzeń waha się od 11 dla DeepSeek V4 Pro do 30 dla GPT-6.1 Sol. Ani data premiery, ani dostawca, ani rozmiar modelu nie pozwalają wiarygodnie przewidzieć tego wzorca.
Wniosek autorów jest praktyczny: empiryczne wyniki o LLM-ach należy przedstawiać jako obserwacje dotyczące konkretnych modeli w konkretnym momencie, a nie jako ogólne prawdy. Prace powinny podawać model, wersję i datę testu oraz publikować prompty i kod analizy, żeby dało się je powtórzyć na przyszłych modelach. Queen podsumował to w swoim wątku na X: wraz ze zmianą modeli nasze założenia trzeba rewidować, a wcześniejsze przekonania o LLM-ach nie mogą pozostać stałe.
