Starcie gigantów: Cloudflare i Perplexity w sporze o pozyskiwanie danych przez AI

W świetle szczegółowego raportu Cloudflare i szerokich doniesień medialnych, spór dotyczący metod pozyskiwania danych przez Perplexity AI jest znacznie głębszy i bardziej polaryzujący, niż początkowo mogło się wydawać. Cloudflare stawia poważne zarzuty, oskarżając Perplexity o systematyczne ignorowanie blokad witryn i maskowanie swojej tożsamości w celu skrobania danych ze stron, które wyraźnie zakazały dostępu narzędziom AI. Konflikt ten stawia pod znakiem zapytania etykę, przejrzystość i model biznesowy przyszłości internetu.

Metody działania Perplexity pod lupą Cloudflare

Raport Cloudflare oraz niezależne śledztwa wskazują, że Perplexity, startup z branży AI, rzekomo indeksuje i pozyskuje treści z witryn, które jasno sygnalizują (poprzez plik robots.txt i bezpośrednie blokady), że narzędzia AI są w nich niepożądane. Dowody techniczne opierają się na zmianie user agentów w celu podszywania się pod przeglądarki, takie jak Google Chrome na macOS, oraz rotacji numerów systemów autonomicznych (ASN). Te zaawansowane taktyki miałyby służyć omijaniu detekcji i blokad.

Cloudflare twierdzi, że wykryło to ukryte skrobanie na dziesiątkach tysięcy domen, generujące miliony żądań dziennie. Firma mogła zidentyfikować crawlera za pomocą uczenia maszynowego i innych sygnałów sieciowych, co wskazuje na skalę i zaawansowanie rzekomych działań.

Znaczenie zarzutów dla ekosystemu internetu

Przez dekady plik robots.txt funkcjonował jako „dżentelmeńska umowa”, informując boty o dopuszczalnych zasadach dostępu. Chociaż w niewielu jurysdykcjach omijanie tego pliku jest nielegalne, normą wśród liderów branży AI, takich jak OpenAI i Anthropic, jest respektowanie tych sygnałów. Rzekome podejście Perplexity podważa ten niepisany kontrakt, sugerując gotowość do ignorowania życzeń właścicieli witryn w dążeniu do pozyskania danych treningowych.

Cały problem nabrał szczególnego znaczenia w momencie, gdy Cloudflare uruchomiło swoją nową platformę „Pay Per Crawl”, która umożliwia wydawcom pobieranie opłat za dostęp botów AI i domyślnie blokuje większość crawlerów. Do inicjatywy przystąpiły już takie podmioty jak The Atlantic, BuzzFeed, Time Inc. i O’Reilly, a ponad 2,5 miliona witryn całkowicie zakazało szkolenia modeli AI na swoich danych.

Odpowiedź Perplexity i rozbieżności w interpretacji

Rzecznik Perplexity zdystansował się od posta Cloudflare, nazywając go „chwytem marketingowym” i twierdząc, że załączone zrzuty ekranu „pokazują, że żadna treść nie została udostępniona”. Firma zaprzeczyła również, jakoby cytowany bot należał do niej. Później Perplexity argumentowało, że znaczna część ruchu obserwowanego przez Cloudflare była wynikiem pobierania danych na żądanie użytkownika (operującego za pośrednictwem agenta AI) a nie automatycznego skrobania. Jest to kluczowe rozróżnienie w toczących się debatach na temat faktycznego znaczenia terminu „skrobanie”. Przedstawiciele Perplexity wspomnieli również o wcześniejszych incydentach, w tym oskarżeniach o plagiat ze strony serwisów takich jak Wired, co sugeruje, że firma ma trudności z określeniem własnych standardów korzystania z treści.

Podzielone reakcje i szersze implikacje

Cloudflare konsekwentnie broni modelu biznesowego wydawców, egzekwując sygnały blokujące i dążąc do pobierania opłat za „dostęp AI” do treści. Z kolei Perplexity argumentuje, że agenci internetowi AI, działając w imieniu użytkowników, nie powinni być odróżniani od przeglądania przez człowieka. W społeczności internetowej trwa gorąca debata: jedni twierdzą, że jeśli użytkownik żąda publicznej witryny za pośrednictwem Perplexity, jest to równoznaczne z otwarciem jej w przeglądarce Firefox. Inni z kolei przekonują, że takie praktyki szkodzą właścicielom witryn, opartym na przychodach z reklam, oraz podważają ich kontrolę nad danymi.

Transformacja modelu biznesowego internetu

Monetyzacja treści w internecie ulega dynamicznej transformacji. Wydawcy coraz częściej przechodzą od reklam do opłat za dostęp, a skrobanie danych staje się rynkiem opartym na zasadzie „pay-to-play”. Transparencja i zgodność z normami nie są już opcją, lecz wymogiem. Firmy AI stoją w obliczu rosnącego ryzyka reputacyjnego i prawnego, jeśli zostaną przyłapane na omijaniu blokad lub niewłaściwym wykorzystywaniu treści. Co więcej, przyszłość definiować będą partnerstwa danych – główni gracze AI inwestują w umowy licencyjne z wydawcami, zamiast polegać na ukrytym skrobaniu.

Etyczny przełom w erze AI

Niezależnie od tego, czy Perplexity jest niesprawiedliwie obwiniane, czy faktycznie naruszyło normy internetowe, obecna sytuacja to moment przełomowy. Era „darmowych danych” dla AI dobiega końca. Etyka, ekonomia i nowe platformy kontrolujące dostęp, takie jak Cloudflare, wymuszają przejście na płatny dostęp do danych, większą odpowiedzialność i zrównoważone partnerstwa w zakresie treści. Jeśli firmy AI nie dostosują się do tych zmian, napotkają zamknięte bramy i fragmentaryczny, oparty na płatnym dostępie internet – co ostatecznie przekształci fundamenty cyfrowego świata.