Jak zatrute dane mogą oszukać sztuczną inteligencję i jak temu zapobiec?

W świecie, gdzie sztuczna inteligencja wkracza w coraz więcej aspektów naszego życia, od zarządzania infrastrukturą krytyczną po personalizowane rekomendacje, pojawia się nowe zagrożenie: zatruwanie danych (ang. data poisoning). Wyobraźmy sobie ruchliwy dworzec kolejowy, gdzie kamery monitorują czystość peronów i dostępność miejsc postojowych. Obraz z kamer trafia do systemu AI, który optymalizuje operacje dworca i wysyła sygnały do nadjeżdżających pociągów. Co się stanie, jeśli ktoś zacznie celowo wprowadzać błędne informacje do systemu?

Atakujący może użyć lasera, by oszukać kamery i sprawić, żeby te raportowały zajętość toru, nawet gdy jest on wolny. System AI, ucząc się na podstawie tych fałszywych danych, zacznie opóźniać pociągi, generując chaos i potencjalnie prowadząc do niebezpiecznych sytuacji. Tego typu atak to właśnie data poisoning – celowe wprowadzanie błędnych lub mylących danych do systemu automatycznego, by zakłócić jego działanie.

Data poisoning – atak na systemy AI

Scenariusz z dworcem kolejowym to tylko jeden z przykładów. Data poisoning może przyjąć różne formy i uderzać w różne systemy. Wyrafinowany atakujący, chcąc zakłócić transport publiczny i zebrać dane wywiadowcze, może przez dłuższy czas używać lasera do oszukiwania kamer. Niewykryte działania mogą stopniowo korumpować system, otwierając drogę do poważniejszych incydentów – włamań do systemów, wycieków danych, a nawet szpiegostwa.

Choć ataki data poisoning na infrastrukturę fizyczną są jeszcze rzadkie, stanowią realne zagrożenie w systemach online, zwłaszcza tych opartych na dużych modelach językowych trenowanych na treściach z mediów społecznościowych i stron internetowych. Przypomnijmy sobie przypadek chatbota Tay Microsoftu z 2016 roku. W ciągu kilku godzin od premiery użytkownicy zaczęli zasypywać go nieodpowiednimi komentarzami. Tay szybko zaczął powtarzać te same obraźliwe sformułowania, szokując miliony obserwatorów. Microsoft wyłączył narzędzie po 24 godzinach i przeprosił opinię publiczną.

Incydent z Tay pokazał, jak podatne na manipulację są systemy AI i jak szybko mogą zacząć generować niepożądane treści. Podkreślił również, jak ważne jest kontrolowanie danych, na których uczą się modele AI, bo to determinuje sukces technologii i jej zastosowanie.

Jak się bronić przed zatruwaniem danych?

Całkowite wyeliminowanie ryzyka zatruwania danych może być niemożliwe, ale istnieją sposoby na ograniczenie jego skutków. Jednym z nich jest ograniczenie ilości przetwarzanych danych i dokładne weryfikowanie danych wejściowych. Warto też stosować mechanizmy wykrywania ataków, zanim staną się zbyt groźne.

Alternatywnym rozwiązaniem jest uczenie federacyjne (ang. federated learning), w którym modele AI uczą się na zdecentralizowanych źródłach danych bez konieczności gromadzenia surowych danych w jednym miejscu. Systemy scentralizowane mają jeden słaby punkt, podczas gdy systemy zdecentralizowane są odporniejsze na ataki, ponieważ pojedynczy zbiór zatrutych danych nie wpływa od razu na cały model. Innym potencjalnym rozwiązaniem jest zastosowanie blockchain – zdecentralizowanego rejestru, który zapewnia bezpieczny i transparentny zapis danych. Blockchain umożliwia wiarygodną weryfikację aktualizacji i identyfikację anomalii wskazujących na zatruwanie danych.

Blockchain ma strukturę znaczników czasowych, która pozwala na śledzenie pochodzenia zatrutych danych, co ułatwia naprawę szkód i wzmocnienie przyszłych zabezpieczeń. Dodatkowo, blockchainy są interoperacyjne, co oznacza, że mogą się ze sobą komunikować i ostrzegać się nawzajem o wykrytych wzorcach zatrutych danych.

Przyszłość obrony przed data poisoning

Systemy AI, które korzystają z danych ze świata rzeczywistego, zawsze będą narażone na manipulacje. Niezależnie od tego, czy jest to laser, czy fałszywe treści w mediach społecznościowych, zagrożenie jest realne. Narzędzia takie jak uczenie federacyjne i blockchain mogą pomóc w budowaniu odpornych i odpowiedzialnych systemów AI, które wykrywają próby oszustwa i alarmują administratorów.

Oprócz wspomnianych metod, naukowcy pracują nad innymi rozwiązaniami, takimi jak filtry wstępne do weryfikacji danych przed rozpoczęciem procesu uczenia oraz systemy uczenia maszynowego, które są bardziej wrażliwe na potencjalne ataki.