Dlaczego teksty od AI tak męczą? Badacze wskazali sześć wzorców językowych

Odpowiedź modelu bywa merytorycznie poprawna, a mimo to jej czytanie wymaga wysiłku. Znamy to uczucie z ChatGPT czy Claude’a: zdania wielokrotnie złożone, dziwne połączenia słów, metafory, których nie użyłby żaden człowiek. Badacze z New York University i University of Texas at Austin postanowili to zmierzyć. Jak opisuje The Decoder, frontierowe modele systematycznie nadużywają konstrukcji, które podnoszą koszt czytania.

Zespół kazał 14 modelom pisać w trzech trybach: swobodna rozmowa, sesje programistyczne i eseje argumentacyjne. W zestawie były m.in. Claude, GPT-5.6, GLM-5, Kimi K2.5 oraz mniejsze modele open source, jak Llama i Olmo. Łącznie przeanalizowano 120 rozmów, 45 sesji kodowania i 980 esejów. Punktem odniesienia były teksty ludzkie: napisy filmowe, StackExchange i eseje studenckie.

Sześć wzorców

Modele nadmiernie używają:

• nietypowych połączeń słów, które rzadko pojawiają się u ludzi, np. „reader-patience budget”;
• odsuniętych od siebie części zdania, co obciąża pamięć roboczą. Przykład od Claude Opus 5: „A cat who can always get up and away is a much calmer cat”, gdzie podmiot od orzeczenia oddziela długi człon;
• skróconych odwołań bez spójnika: zamiast „the book that the professor wrote” modele piszą „the book the professor wrote”. Oszczędzają słowo, ale na chwilę mylą czytelnika co do budowy zdania;
• nagromadzonych rzeczowników, np. „horror movie soundtrack generator”, w których odbiorca sam musi ustalić, co się odnosi do czego;
• zamiany rzeczowników w czasowniki, gdzie człowiek by tego nie zrobił. Claude Fable 5 napisał „calendar it”, zamiast „put it in the calendar”;
• czasowników ożywionych przy nieożywionych podmiotach, np. „The whole conversation is eating its own tail” (Claude Opus 5).

Żaden z tych zabiegów nie uniemożliwia zrozumienia tekstu. Każdy wymaga jednak dodatkowej chwili wysiłku, a w długiej odpowiedzi te chwile się sumują.

Winny post-training?

Najbliżej ludzkiego pisania są Llama i bazowy Olmo. W rodzinie Olmo wyniki pogarszają się stopniowo: od modelu bazowego, przez wariant instruct, aż po model rozumujący Olmo Think, który osiąga poziom modeli frontierowych. Autorzy czytają to jako wskazówkę, że źródłem problemu jest etap post-treningu.

Ich wyjaśnienie: ludzki język równoważy łatwość tworzenia z łatwością rozumienia, a nowoczesne modele trenuje się coraz częściej na matematyce, kodzie i logice, gdzie nagradza się poprawność, a nie jasność. Przejście z RLHF (uczenie ze wzmocnieniem na podstawie ludzkich ocen) na RLVR (uczenie z weryfikowalnymi nagrodami) wyprowadza człowieka z pętli sprzężenia zwrotnego. Modele wykształcają coś w rodzaju „dialektu”, który dobrze nadaje się do kompresji informacji i rozwiązywania trudnych zadań, ale słabo do czytania przez ludzi.

Jako dowód koncepcji badacze wytrenowali mniejszy model z karą premiującą krótsze odpowiedzi. Przy określonych warunkach treningu model wybierał krótsze sformułowania niemal bez wyjątku, niezależnie od kontekstu, i uogólniał to na konstrukcje, których nie widział w treningu. Ludzie wybierają między krótszym a dłuższym wariantem w zależności od sytuacji.

Głos z Anthropic

Podobną diagnozę postawił wcześniej Jackson Kernion z Anthropic, który pracuje nad dostrajaniem Claude’a. Według omówienia The Decodera uznał on Opus 4.6 za ostatni dobry „model do pisania” od Anthropic. Optymalizacja nowszych modeli pod matematykę, kod i techniczne wyjaśnienia, w tym kierowane do innych modeli, przesunęła styl Claude’a w stronę, która dobrze działa dla AI, ale dla ludzi jest zbyt gęsta i nienaturalna. Kernion nazwał to dostosowaniem do „psychologii LLM”.

W swoim wpisie na X napisał, że Opus 5.5 to pierwsze wydanie z ukierunkowanymi poprawkami w zakresie jasności zdań i przeładowanych blokami informacji odpowiedzi. Przyznał, że to trudny problem, że prace będą kontynuowane, i że od czasów Opus 4.6 nie był tak zadowolony z pisania żadnego modelu.

Badanie to potwierdza: Opus 5.5 wypada lepiej od Opus 5 w 19 z 21 porównań. Autorzy wnioskują, że celowe dostrajanie potrafi poprawić czytelność.