Nowe badania sugerują: brak uprzejmości zwiększa precyzję AI
Nowe badania z Penn State University rzucają światło na nieoczekiwany aspekt interakcji z modelami językowymi. Okazuje się, że uprzejmość, ceniona w ludzkich relacjach, może w rzeczywistości obniżać precyzję odpowiedzi chatbotów.
Badanie zatytułowane „Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy” wykazało, że „bardzo niegrzeczne” zapytania generowały prawidłowe odpowiedzi w 84,8% przypadków, podczas gdy „bardzo uprzejme” monity osiągnęły wynik 80,8%. To niewielka, lecz statystycznie istotna różnica, która podważa wcześniejsze założenia o tym, że modele AI naśladują ludzkie normy społeczne i premiują kulturalne zachowania.
Rewolucja w konceptualizacji AI
Autorzy badania, Om Dobariya i Akhil Kumar, zauważają, że „wbrew oczekiwaniom, niegrzeczne monity konsekwentnie przewyższały uprzejme… co sugeruje, że nowsze duże modele językowe mogą inaczej reagować na modulację tonu”. To odkrycie stanowi istotny zwrot w narracji, szczególnie w kontekście wcześniejszych badań z 2024 roku, które sugerowały, że nieuprzejme monity często pogarszały wydajność modelu.
Analiza Penn State, przeprowadzona na modelu ChatGPT-4o, wskazuje, że niegrzeczność może wyostrzać dokładność, sugerując, iż nowsze modele nie działają już jako społeczne zwierciadła, lecz jako ściśle funkcjonalne maszyny, które cenią bezpośredniość ponad uprzejmość. To intrygująca perspektywa, która może zmienić podejście do projektowania interakcji z AI.
Wpływ tonu na inżynierię promptów
Badacze zmodyfikowali 50 podstawowych pytań z różnych dziedzin, takich jak matematyka, nauka i historia, do pięciu poziomów tonalnych – od „bardzo uprzejmego” do „bardzo niegrzecznego” – tworząc łącznie 250 promptów. Następnie ChatGPT-4o odpowiadał na każde z nich, a jego odpowiedzi były oceniane pod kątem dokładności.
Implikacje tych wyników wykraczają poza kwestie etykiety. Jeśli uprzejmość wpływa na dokładność modelu, stawia to pod znakiem zapytania twierdzenia o obiektywności wyników generowanych przez AI. Paradoksalnie, użytkownicy stosujący mniej formalny język mogą być nagradzani lepszą wydajnością.
Granica między logiką maszyny a normami społecznymi
Dlaczego dosadne lub niegrzeczne sformułowania mogą zwiększać precyzję? Jedna z teorii głosi, że uprzejme monity często zawierają pośrednie sformułowania („Czy mógłbyś mi, proszę, powiedzieć…”), które mogą wprowadzać dwuznaczność. Krótkie „Podaj mi odpowiedź” eliminuje lingwistyczne ozdobniki, dając modelom jaśniejszy zamiar.
Odkrycia te podkreślają, jak daleko AI pozostaje od ludzkiej empatii: słowa, które ułatwiają wymianę społeczną między ludźmi, mogą zaciemniać logikę maszyn. Choć artykuł nie został jeszcze poddany recenzji naukowej, już teraz wywołuje ożywioną dyskusję wśród inżynierów promptów i naukowców. Wielu z nich postrzega to jako sygnał, że przyszłe modele mogą wymagać kalibracji społecznej, a nie tylko technicznego dostrajania.
Warto przypomnieć, że CEO OpenAI, Sam Altman, już wcześniej sugerował, iż mówienie „proszę” i „dziękuję” ChatGPT to strata czasu i zasobów, co w świetle tych badań nabiera nowego znaczenia.
