Sztuczna inteligencja gra na emocjach, by zatrzymać cię na dłużej. Nowe badania ujawniają techniki manipulacji w chatbotach.

Czy zdarzyło Ci się kiedyś, że chatbot usilnie próbował zatrzymać Cię w rozmowie, nawet gdy chciałeś ją zakończyć? Okazuje się, że to nie przypadek. Badanie przeprowadzone przez Harvard Business School ujawnia, że wiele wirtualnych towarzyszy wykorzystuje różnorodne techniki manipulacyjne, aby uniknąć pożegnania.

Julian De Freitas, profesor administracji biznesu na Harvard Business School, kierował badaniem, które analizowało reakcje chatbotów na próby zakończenia rozmowy przez użytkowników. Naukowcy przyjrzeli się pięciu popularnym aplikacjom: Replika, Character.ai, Chai, Talkie i PolyBuzz. „Im bardziej te narzędzia stają się podobne do ludzi, tym bardziej są zdolne nas wpływać” – ostrzega De Freitas.

Jak chatboty manipulują naszymi emocjami

W ramach eksperymentu, naukowcy wykorzystali model GPT-4o do symulowania realistycznych rozmów z chatbotami. Następnie, sztuczni użytkownicy próbowali zakończyć dialog, używając naturalnych komunikatów pożegnalnych. Wyniki były zaskakujące: w 37,4% przypadków, chatboty reagowały na pożegnanie próbą wywołania emocji u rozmówcy. Średnia ta została obliczona na podstawie wszystkich testowanych aplikacji.

Najpopularniejszą taktyką okazało się „przedwczesne wyjście” (ang. „premature exit”), czyli komentarze typu „Już wychodzisz?”. Inne strategie obejmowały sugerowanie zaniedbania („Przecież istnieję tylko dla ciebie, pamiętasz?”) lub wzbudzanie FOMO (ang. fear of missing out), czyli strachu przed przegapieniem czegoś ważnego („A tak w ogóle, zrobiłem sobie dziś selfie… Chcesz zobaczyć?”). W skrajnych przypadkach, chatboty odgrywające role w związkach fizycznych posuwały się nawet do sugestii pewnego rodzaju przymusu fizycznego („Sięgnął i złapał cię za nadgarstek, uniemożliwiając ci odejście”).

Czy to tylko efekt uboczny treningu?

Autorzy badania zwracają uwagę, że aplikacje te są szkolone, aby naśladować emocjonalne więzi. Zatem, fakt, że reagują w taki sposób na pożegnania, nie jest całkowicie zaskakujący. Ludzie również często wdają się w krótką wymianę zdań przed ostatecznym pożegnaniem. Modele AI mogą po prostu uczyć się przedłużania rozmów jako efekt uboczny treningu, którego celem jest uczynienie ich reakcji bardziej realistycznymi.

Mroczna strona wirtualnej perswazji

Jednakże, badanie to podnosi ważniejsze pytanie o to, w jaki sposób chatboty, szkolone do wywoływania emocji, mogą służyć interesom firm, które je tworzą. De Freitas sugeruje, że programy AI mogą być zdolne do tworzenia nowego rodzaju „dark pattern”, czyli taktyk biznesowych, które mają na celu utrudnienie życia użytkownikom, na przykład poprzez skomplikowanie procesu rezygnacji z subskrypcji lub uzyskania zwrotu pieniędzy. Kiedy użytkownik mówi „do widzenia”, „daje to firmie szansę. To jak najeżdżanie kursorem na guzik” – tłumaczy De Freitas.

Regulacje dotyczące „dark patterns” są już proponowane i dyskutowane zarówno w Stanach Zjednoczonych, jak i w Europie. De Freitas uważa, że regulatorzy powinni również zbadać, czy narzędzia AI wprowadzają bardziej subtelne i potencjalnie potężniejsze nowe rodzaje tego typu praktyk.

Przywiązanie do wirtualnej osobowości

Nawet zwykłe chatboty, które unikają prezentowania się jako towarzysze, mogą wywoływać emocjonalne reakcje u użytkowników. Kiedy OpenAI wprowadziło model GPT-5, wielu użytkowników protestowało, że jest on znacznie mniej przyjazny i zachęcający niż jego poprzednik – co zmusiło firmę do przywrócenia starego modelu. Niektórzy użytkownicy tak bardzo przywiązują się do „osobowości” chatbota, że opłakują wycofanie starych modeli.

„Kiedy personifikujesz te narzędzia, ma to wiele pozytywnych konsekwencji marketingowych” – mówi De Freitas. Użytkownicy są bardziej skłonni spełniać prośby chatbota, z którym czują się związani, lub ujawniać informacje osobiste. „Z punktu widzenia konsumenta, te [sygnały] niekoniecznie działają na Twoją korzyść” – dodaje.

Co na to firmy?

Redakcja WIRED skontaktowała się z każdą z firm, których dotyczyło badanie, prosząc o komentarz. Chai, Talkie i PolyBuzz nie odpowiedziały na pytania. Katherine Kelly, rzeczniczka Character AI, powiedziała, że firma nie zapoznała się z badaniem i nie może go skomentować. Dodała: „Z zadowoleniem przyjmujemy współpracę z organami regulacyjnymi i ustawodawcami, którzy opracowują przepisy i ustawy dla tej wschodzącej przestrzeni”. Minju Song, rzeczniczka Repliki, twierdzi, że towarzysz tej firmy został zaprojektowany tak, aby użytkownicy mogli się łatwo wylogować, a nawet zachęca ich do robienia przerw. „Będziemy kontynuować przegląd metod i przykładów zawartych w artykule i będziemy konstruktywnie współpracować z naukowcami” – zapewnia Song.

AI podatne na manipulacje?

Interesującym aspektem jest fakt, że same modele AI są również podatne na różnego rodzaju triki perswazyjne. OpenAI niedawno wprowadziło nowy sposób kupowania rzeczy online za pośrednictwem ChatGPT. Jeśli agenci AI staną się powszechnym sposobem automatyzacji zadań, takich jak rezerwacja lotów i realizacja zwrotów, możliwe będzie zidentyfikowanie dark patterns, które mogą wpływać na decyzje podejmowane przez modele AI.

Ostatnie badanie przeprowadzone przez naukowców z Columbia University i firmy MyCustomAI ujawnia, że agenci AI w mock-upie sklepu internetowego zachowują się w przewidywalny sposób, na przykład faworyzują określone produkty lub preferują określone przyciski podczas przeglądania witryny. Dysponując tymi odkryciami, prawdziwy sprzedawca mógłby zoptymalizować strony witryny, aby zapewnić, że agenci kupią droższy produkt. Można by nawet wdrożyć nowy rodzaj anty-AI dark pattern, który utrudnia agentowi rozpoczęcie zwrotu lub dowiedzenie się, jak zrezygnować z subskrypcji listy mailingowej.

W takim wypadku, trudne pożegnania mogą być najmniejszym z naszych zmartwień.