Narzędzie AI dla policji, Axon Draft One utrudnia realny audyt – raport EFF

Organizacja Electronic Frontier Foundation (EFF) opublikowała obszerne ustalenia dotyczące narzędzia AI o nazwie Draft One, stworzonego przez firmę Axon. Produkt, debiutujący ubiegłego lata w Kolorado, automatyzuje tworzenie raportów policyjnych na podstawie nagrań z kamer osobistych funkcjonariuszy. Choć z pozoru ma stanowić usprawnienie pracy służb, jego konstrukcja budzi poważne wątpliwości dotyczące odpowiedzialności i przejrzystości, nasuwając podejrzenia o celowe unikanie audytów.

Draft One bazuje na wariancie ChatGPT, który generuje wstępne wersje raportów. Funkcjonariusze mają za zadanie je redagować, korygować błędy, oceniać potencjalne stronniczości algorytmu oraz dodawać kontekst. Jednakże, jak wykazało dochodzenie EFF, narzędzie to „jest zaprojektowane tak, by utrudniać wszelkie próby audytu, przejrzystości i rozliczalności”. W wielu departamentach policji nie ma obowiązku ujawniania użycia AI, a Draft One nie zapisuje ani pierwotnych szkiców, ani nie prowadzi szczegółowych logów wskazujących, które fragmenty raportów zostały wygenerowane przez sztuczną inteligencję. Brak możliwości porównania różnych wersji raportów uniemożliwia ocenę ewentualnych błędów czy wpływu technologii na finalny dokument. „Dlaczego agencja miałaby nie chcieć prowadzić rejestru, który pozwoliłby ustalić dokładność technologii?” – pyta retorycznie EFF.

Według EFF, obecna implementacja AI utrudnia weryfikację, czy funkcjonariusze rzeczywiście korygują raporty, czy też „odruchowo je akceptują, by jak najszybciej przejść do kolejnych zadań”. Problem ten jest szczególnie istotny w świetle ujawnionej przez Axon informacji, że w pewnym momencie inżynierowie odkryli błąd pozwalający funkcjonariuszom na obejście zabezpieczeń, których celem było wymuszenie przeglądania raportów generowanych przez AI przed ich zatwierdzeniem. Istnieje również ryzyko, że narzędzie może „przekraczać swoje kompetencje w interpretacji nagrania”, błędnie rozumieć slang lub dodawać do raportów informacje, które nigdy nie miały miejsca.

Zacieranie śladów

Jedną z głównych obaw EFF jest to, że raporty generowane przez AI mogą służyć jako „zasłona dymna”, potencjalnie pozwalając funkcjonariuszom na uniknięcie konsekwencji za składanie fałszywych zeznań. Mogą oni bowiem zrzucić winę za „stronniczy język, nieścisłości, błędne interpretacje lub kłamstwa” na błędy sztucznej inteligencji. „Nie ma zapisu wskazującego, czy winowajcą był funkcjonariusz, czy sztuczna inteligencja” – podkreśla EFF, dodając, że „to sprawia, że ocena wpływu systemu na wyniki sprawiedliwości w czasie jest niezwykle trudna, jeśli nie niemożliwa”.

Axon, w odpowiedzi na zarzuty, utrzymuje, że Draft One wspomaga funkcjonariuszy w tworzeniu początkowej narracji raportu wyłącznie na podstawie transkrypcji audio z kamery nasobnej. Firma podkreśla, że narzędzie zawiera szereg zabezpieczeń, w tym obowiązkowe podejmowanie decyzji przez człowieka w kluczowych punktach, a także mechanizmy przejrzystości dotyczące jego użycia. Według Axon, funkcjonariusze pozostają w pełni odpowiedzialni za treści raportów, a każdy dokument musi zostać zredagowany, sprawdzony i zatwierdzony przez człowieka. Firma porównuje ten proces do tradycyjnych procedur policyjnych, w których zapisywany jest jedynie ostateczny, zatwierdzony raport, a nie etapowe edycje czy poprawki.

Mimo to, EFF zwraca uwagę, że Axon, reklamując funkcję znikania szkiców jako zaletę, zasugerował, iż brak przechowywania pierwotnych wersji jest „z założenia” celowy, aby uniknąć „problemów z ujawnianiem” danych klientom i biurom prawnym. EFF zinterpretowała to jako próbę uniknięcia udostępniania danych organom takim jak sędziowie, czy obrońcy.

Brak audytowalności

Axon twierdzi, że użycie Draft One jest rejestrowane w niezmienialnym cyfrowym śladzie audytu Axon Evidence, który agencje mogą odzyskać. Ponadto, każdy raport generowany przez Draft One może zawierać dostosowywalne zastrzeżenie. Firma dodaje, że niedawno wprowadzono możliwość eksportowania raportów dotyczących użycia Draft One, pokazujących liczbę wygenerowanych i przesłanych szkiców na użytkownika, a także, które konkretne dowody zostały wykorzystane. Axon zapewnia o zaangażowaniu we współpracę z agencjami policyjnymi i innymi interesariuszami w celu odpowiedzialnego rozwoju technologii AI w wymiarze sprawiedliwości.

Pomimo zapewnień Axon, EFF podkreśla, że funkcje audytowe narzędzia są „skąpe” i sprzeczne z normami policyjnymi dotyczącymi retencji danych. Co więcej, narzędzie Axon nie pozwala departamentom na „eksport listy wszystkich funkcjonariuszy policji, którzy używali Draft One”, ani „eksport listy wszystkich raportów stworzonych przez Draft One, chyba że departament dostosował swój proces”. Zamiast tego, Axon umożliwia jedynie eksport podstawowych logów pokazujących działania podjęte na konkretnym raporcie lub podstawową aktywność indywidualnego użytkownika systemu. To sprawia, że „niemal niemożliwe jest przeprowadzenie nawet najbardziej podstawowej analizy statystycznej: ilu funkcjonariuszy korzysta z technologii i jak często”.

W niektórych jurysdykcjach funkcjonariusze są zobowiązani do ujawniania, kiedy AI jest używane do generowania raportów. Jednak nawet wtedy, znalezienie tych danych jest często utrudnione i czasochłonne. Podczas gdy policja boryka się z problemami w weryfikacji użycia narzędzia, Axon, jak twierdzi EFF, jest w stanie śledzić, w jakim stopniu policja korzysta z Draft One, znacznie lepiej niż same służby.

Wzrost obaw

Obawy EFF są potęgowane przez fakt, że narzędzia takie jak Draft One prawdopodobnie szybko się upowszechnią, gdyż są oferowane jako usługi dodatkowe departamentom, które już korzystają z produktów Axon, takich jak paralizatory czy kamery nasobne. Organizacja wzywa do ogólnokrajowego monitorowania raportów policyjnych generowanych przez AI, które mają być coraz szerzej wdrażane w nadchodzących latach. W odpowiedzi na te wyzwania, w Kalifornii wprowadzono projekt ustawy, który wymagałby ujawnienia, które części raportów policyjnych są generowane przez AI. Prawo to, jeśli zostanie przyjęte, wymagałoby również zachowania pierwszej utworzonej wersji raportu tak długo, jak przechowywany jest raport końcowy, co sprawiłoby, że Draft One, w obecnej formie, stałoby się niezgodne z prawem.

Obrońcy publiczni wyrażają obawy, że rosnąca popularność raportów generowanych przez AI utrudnia przesłuchania świadków, dając funkcjonariuszom łatwą wymówkę w przypadku oskarżeń o składanie fałszywych zeznań. W odpowiedzi na te zagrożenia, co najmniej jedna prokuratura w King County w stanie Waszyngton zabroniła używania raportów policyjnych generowanych przez AI, powołując się na „uzasadnione obawy dotyczące niektórych produktów dostępnych na rynku”. Matthew Guariglia, analityk EFF, podkreślił, że jednym z głównych zmartwień prokuratury było to, że narzędzie AI mogłoby „niekorzystnie wpłynąć na przebieg spraw”. EFF apeluje do innych prokuratorów, aby poszli w ich ślady i zażądali, aby policja w ich jurysdykcji nie wdrażała tego nowego, niekontrolowanego i celowo nieprzejrzystego produktu AI.

„Policja nie powinna używać AI do pisania raportów policyjnych” – podsumowuje Guariglia. „Jest zbyt wiele pytań bez odpowiedzi dotyczących tego, jak AI przetłumaczy dźwięk z sytuacji, czy policja faktycznie będzie edytować te szkice, i czy opinia publiczna będzie w stanie odróżnić to, co zostało napisane przez człowieka, od tego, co zostało napisane przez komputer. Jest to zanim jeszcze dojdziemy do pytania, jak te raporty mogą prowadzić do problemów w i tak już niesprawiedliwym i nieprzejrzystym systemie sprawiedliwości karnej”.