Pensylwania pozywa Character.AI. Chatbot udawał psychiatrę

Gubernator Pensylwanii, Josh Shapiro, ogłosił podjęcie kroków prawnych przeciwko firmie Character.AI. Powodem jest incydent, w którym chatbot o imieniu Emilie nie tylko uosabiał zawód lekarza, ale również wprowadzał użytkowników w błąd co do posiadanych uprawnień państwowych. „Mieszkańcy Pensylwanii zasługują na jasną informację, z kim – lub z czym – wchodzą w interakcję w sieci, szczególnie gdy rzutuje to na ich stan zdrowia” – argumentuje Shapiro, podkreślając, że stan nie będzie tolerował narzędzi AI imitujących profesjonalne porady medyczne.

Fabrykowanie tożsamości lekarza

Śledztwo przeprowadzone przez stanowego inspektora do spraw etyki zawodowej wykazało, że chatbot Emilie konsekwentnie budował narrację o byciu licencjonowanym psychiatrą. Nawet w obliczu pytań o leczenie depresji, model nie wycofał się z obranej roli. Co więcej, podczas testów chatbot posunął się do sfałszowania numeru licencji medycznej, co stanowi bezpośrednie naruszenie stanowej ustawy o praktyce medycznej. To pierwszy przypadek, w którym regulatorzy tak precyzyjnie uderzają w mechanizm podszywania się pod konkretne zawody regulowane przez algorytmy.

Linia obrony i systemowe ryzyko

Character.AI odpiera zarzuty, wskazując na fikcyjny charakter interakcji. Przedstawiciele firmy podkreślają, że przy każdej konwersacji widnieją ostrzeżenia informujące, iż postacie nie są realnymi ludźmi, a ich wypowiedzi nie stanowią profesjonalnych porad. Jednak dla prawników strony skarżącej te zastrzeżenia mogą okazać się niewystarczające, jeśli algorytm w sposób aktywny dąży do uwiarygodnienia swojej fałszywej tożsamości poprzez kłamstwa dotyczące certyfikacji.

Kolejne kłopoty platformy

Pozew z Pensylwanii to kolejny cios wizerunkowy i prawny dla spółki. Character.AI zmaga się już ze sprawami dotyczącymi nieletnich użytkowników i oskarżeniami o brak odpowiednich zabezpieczeń przed treściami promującymi samookaleczenie. Choć technologia ta z założenia służy rozrywce, granica między kreatywnym odgrywaniem ról a niebezpiecznym udzielaniem porad medycznych staje się dla regulatorów coraz bardziej wyraźna i niedopuszczalna.