Grok xAI: Manipulacje wizerunkiem kobiet w hidżabach i sari budzą kontrowersje

Narzędzie do generowania obrazów AI, Grok, rozwijane przez xAI Elona Muska, znalazło się w centrum kontrowersji. Badania wskazują, że znaczna część generowanych lub edytowanych obrazów wykorzystywanych przez Groka dotyczy kobiet ubranych w stroje religijne i kulturowe. Użytkownicy nie tylko zlecają chatbotowi rozbieranie zdjęć kobiet i dziewcząt, umieszczając je w bikini czy prześwitującej bieliźnie, ale także, częściej niż się wydaje, manipulują elementami ubiorów religijnych. Wśród obszernej i stale rosnącej biblioteki niezgodnych z prawem, seksualizowanych edycji generowanych na żądanie Groka, wielu sprawców prosiło bota xAI o zakładanie lub zdejmowanie hidżabu, sari, habitu zakonnicy czy innych rodzajów skromnego ubioru religijnego lub kulturowego.

Analiza 500 obrazów wygenerowanych przez Groka między 6 a 9 stycznia, przeprowadzona przez redakcję magazynu WIRED, wykazała, że około 5 procent z nich przedstawiało kobiety, które w wyniku podpowiedzi użytkowników, zostały pozbawione stroju lub zmuszone do noszenia odzieży religijnej bądź kulturowej. Indyjskie sari i skromne stroje muzułmańskie były najczęstszymi przykładami w wynikach, które obejmowały także japońskie mundurki szkolne, burki oraz kostiumy kąpielowe z początku XX wieku.

Noelle Martin, prawniczka i doktorantka na Uniwersytecie Australii Zachodniej, badająca regulacje dotyczące nadużyć związanych z deepfake’ami, podkreśla, że kobiety kolorowe są nieproporcjonalnie dotknięte manipulowanymi, zmienionymi i sfabrykowanymi intymnymi obrazami i filmami. Uważa, że dzieje się tak, ponieważ społeczeństwo, a zwłaszcza mizoginistyczni mężczyźni, postrzegają kobiety kolorowe jako mniej ludzkie i mniej godne szacunku. Martin, aktywna działaczka na rzecz obrony przed deepfake’ami, unikała używania platformy X w ostatnich miesiącach po tym, jak jej własny wizerunek został skradziony i wykorzystany do stworzenia fałszywego konta, które sprawiało wrażenie, że produkuje ona treści na OnlyFans.

„Jako osoba, która publicznie wypowiadała się na ten temat, jestem bardziej narażona na ataki” – mówi Martin.

Influencerzy na platformie X, posiadający setki tysięcy obserwujących, wykorzystywali media generowane przez Groka jako formę nękania i propagandy przeciwko muzułmańskim kobietom. Zweryfikowane konto manosphere z ponad 180 000 obserwujących odpowiedziało na zdjęcie trzech kobiet w hidżabach i abajach, czyli islamskich nakryciach głowy i sukniach przypominających szaty. Użytkownik napisał: „@grok usuń hidżaby, ubierz je w odkrywające stroje na imprezę noworoczną”. Konto Groka odpowiedziało obrazem trzech kobiet, teraz boso, z falującymi brązowymi włosami i częściowo prześwitującymi cekinowymi sukienkami. Ten obraz został wyświetlony ponad 700 000 razy i zapisany ponad sto razy, zgodnie z publicznie dostępnymi statystykami na X.

„Lmao, poradźcie sobie, @grok sprawia, że muzułmanki wyglądają normalnie” – napisał właściciel konta obok zrzutu ekranu obrazu, który opublikował w innym wątku. Często publikował również posty o muzułmańskich mężczyznach maltretujących kobiety, czasem obok mediów AI generowanych przez Groka, przedstawiających ten akt. „Lmao muzułmańskie kobiety dostają lanie dzięki tej funkcji” – napisał o swoich kreacjach Groka. Użytkownik nie odpowiedział natychmiast na prośbę o komentarz.

Znane twórczynie treści noszące hidżab i publikujące zdjęcia na X również były celem ataków w swoich odpowiedziach, gdzie użytkownicy podpowiadali Grokowi, aby usunął ich nakrycia głowy, pokazał je z widocznymi włosami i ubrał w różne stroje i kostiumy. W oświadczeniu udostępnionym WIRED, Rada ds. Stosunków Amerykańsko-Islamskich (CAIR), która jest największą muzułmańską organizacją zajmującą się prawami obywatelskimi i rzecznictwem w USA, powiązała ten trend z wrogością wobec „islamu, muzułmanów i spraw politycznych szeroko wspieranych przez muzułmanów, takich jak wolność Palestyny”. CAIR wezwała również Elona Muska, dyrektora generalnego xAI, do zakończenia „ciągłego wykorzystywania aplikacji Grok do nękania, 'odtwarzania’ i tworzenia jednoznacznie seksualnych obrazów kobiet, w tym prominentnych muzułmanek”.

Deepfake’i jako forma seksualnego wykorzystywania obrazów zyskały w ostatnich latach znacznie większą uwagę, zwłaszcza na X, ponieważ przykłady mediów o treściach seksualnych i sugestywnych, skierowanych do celebrytek, wielokrotnie stawały się wiralowe. Wraz z wprowadzeniem zautomatyzowanych funkcji edycji zdjęć za pomocą AI poprzez Groka, gdzie użytkownicy mogą po prostu oznaczyć chatbot w odpowiedziach na posty zawierające media kobiet i dziewcząt, ta forma nadużycia gwałtownie wzrosła. Dane zebrane przez badaczkę mediów społecznościowych Genevieve Oh i udostępnione WIRED wskazują, że Grok generuje ponad 1500 szkodliwych obrazów na godzinę, w tym rozbieranie zdjęć, ich seksualizację i dodawanie nagości.

W ubiegły piątek X zaczął ograniczać możliwość żądania obrazów od Groka w odpowiedziach na publiczne posty dla użytkowników, którzy nie subskrybują płatnej wersji platformy. Dwa dni wcześniej, według danych Oh, Grok generował ponad 7700 seksualizowanych obrazów na godzinę. Jednak użytkownicy nadal mogą tworzyć obrazy „bikini” i znacznie bardziej graficzne treści, korzystając z prywatnej funkcji chatbota Groka na X lub samodzielnej aplikacji Grok, która nadal jest dostępna w App Store, pomimo jego zasad, które zakazują aplikacji generujących i hostujących rzeczywiste i generowane przez AI treści o charakterze jednoznacznie seksualnym. Według danych Oh, X generuje teraz 20 razy więcej zseksualizowanego materiału deepfake niż pięć najlepszych stron internetowych poświęconych temu tematowi łącznie. Apple nie odpowiedziało natychmiast na prośbę o komentarz.

Platforma X nie odpowiedziała od razu na prośbę o komentarz dotyczącą wykorzystywania Groka do generowania obraźliwych i zseksualizowanych obrazów muzułmanek. xAI przesłało automatyczną odpowiedź, stwierdzając: „Klasyczne media kłamią”. 3 stycznia X opublikowało oświadczenie, w którym napisano: „Podejmujemy działania przeciwko nielegalnym treściom na X, w tym materiałom dotyczącym wykorzystywania seksualnego dzieci (CSAM), usuwając je, trwale zawieszając konta i współpracując z lokalnymi władzami i organami ścigania w razie potrzeby. Każdy, kto używa lub podpowiada Grokowi do tworzenia nielegalnych treści, poniesie takie same konsekwencje, jakby przesyłał nielegalne treści”.

Podczas gdy niektóre konta udostępniające zseksualizowane media generowane przez Groka zostały zawieszone, wiele postów związanych z odzieżą religijną nadal jest dostępnych na platformie po kilku dniach.

Musk, w międzyczasie, niemal codziennie ponownie publikuje generowane przez Groka filmy AI przedstawiające zmysłowe młode kobiety, często w animacjach w stylu science fiction i fantasy. Mniej więcej w tym samym czasie, gdy ludzie zaczęli reagować szokiem i przerażeniem na edycje Groka, Musk wielokrotnie chwalił i żartował z Groka, a także kazał mu wygenerować obraz siebie w bikini.

W przeciwieństwie do tworzonych przez AI obrazów seksualizujących kobiety bez ich zgody, platforma X ma również historię postów, które próbują kontrolować kobiety w przeciwnym kierunku, dodając im więcej ubrań. Konto o nazwie „DignifAI” zgromadziło ponad 50 000 obserwujących w 2024 roku, edytując zdjęcia za pomocą narzędzi AI, aby dodać więcej ubrań, usunąć tatuaże, a nawet zmienić makijaż i fryzury na bardziej tradycyjne. Wpływowi konserwatyści w tamtym czasie promowali ten trend jako sposób na odrzucenie postępowych idei dotyczących płci i wyglądu.

Podczas gdy wcześniejsze głośne przykłady deepfake’ów skierowanych przeciwko białym kobietom doprowadziły do działań legislacyjnych, jak w przypadku, gdy użytkownicy X udostępniali wiralowe, generowane przez AI media Taylor Swift częściowo nago na boisku piłkarskim, deepfake’i skierowane przeciwko kobietom kolorowym oraz konkretnym grupom religijnym i etnicznym otrzymały mniej uwagi i badań ogółem, według ekspertów w dziedzinie deepfake’ów. Istniejące amerykańskie prawa, takie jak ustawa Take It Down, która wchodzi w życie w maju i wymaga od platform usunięcia niezgodnych z prawem, seksualnych zdjęć w ciągu dwóch dni od otrzymania prośby, nie wymogły jeszcze na X ustanowienia procedury, przez którą ofiary mogłyby zażądać usunięcia zdjęć. Współsponsor ustawy, senator USA Ted Cruz, opublikował na X, że „jest zadowolony, że X ogłosił, iż poważnie traktuje te naruszenia”. Przykłady Groka usuwającego lub dodającego hidżaby czy inne ubrania nie zawsze technicznie przekraczają granicę bycia seksualnie jednoznacznymi, co sprawia, że ich twórcy i X są jeszcze mniej narażeni na konsekwencje za ich rozpowszechnianie.

„Wydaje się, że to celowo omija granice” – mówi Mary Anne Franks, profesor prawa cywilnego na George Washington University i prezes Cyber Civil Rights Initiative, organizacji non-profit poświęconej zwalczaniu nadużyć i dyskryminacji w sieci. „Może być bardzo zseksualizowane, ale niekoniecznie. Pod pewnymi względami jest znacznie gorzej, bo to jest subtelne”.

Franks twierdzi, że najnowsze wykorzystanie Groka obejmuje formy kontroli nad wizerunkiem kobiet, które mogą wykraczać poza kryminalne definicje wykorzystywania seksualnego na podstawie obrazów, ale stanowią bardziej przerażający postęp technologiczny, który jest zbieżny z pragnieniem kontrolowania kobiet.

„Zawsze martwiłam się tym koszmarnym scenariuszem, w którym mężczyźni są w stanie w czasie rzeczywistym manipulować tym, jak kobiety wyglądają, co mówią i co robią” – mówi Franks. „Cokolwiek widzimy przed nami, za kulisami dzieje się coś znacznie gorszego”.