OCC wydał pierwsze wytyczne dla nadzorców banków w sprawie AI. Autonomiczne płatności w najwyższej kategorii ryzyka

OCC, czyli amerykański regulator banków narodowych, wydał pierwszy framework nadzorczy dotyczący sztucznej inteligencji, jak opisuje Decrypt. Dokument ma 22 strony i jest skierowany do egzaminatorów. Przesuwa akcent z pytania „jak potężny jest model” na „co się stanie, gdy zawiedzie”. Pełny komunikat urzędu jest na stronie OCC.

Przykład z dokumentu: prosty agent upoważniony do inicjowania transakcji finansowych może być bardziej ryzykowny niż zaawansowany model, który pisze wewnętrzne dokumenty. Egzaminatorzy mają więc brać pod uwagę skutki awarii, możliwość cofnięcia działania i to, ile kontroli zachowuje człowiek.

Cztery poziomy ryzyka

OCC podaje ilustracyjną skalę z czterema poziomami. Na szczycie są w pełni autonomiczni agenci płatniczy i systemy podejmujące w czasie rzeczywistym decyzje kredytowe. Na dole znajdują się podstawowe narzędzia zwiększające produktywność wewnątrz banku. Według Decrypta autonomiczni agenci płatniczy trafiają do najwyższej kategorii niezależnie od wyników w testach.

Im wyższe ryzyko, tym według dokumentu mogą być uzasadnione ostrzejsze ograniczenia autonomii, niezależne testy i wymóg akceptacji przez człowieka przed ważnymi działaniami. Framework wymienia też zabezpieczenia na wypadek, gdy system działa dalej, choć podejmuje szkodliwe decyzje: wyłączniki awaryjne (circuit breakers), limity częstotliwości operacji, ograniczone uprawnienia i mechanizmy natychmiastowego wyłączenia.

Agenci spoza banku

Osobny fragment, w części o odporności operacyjnej, dotyczy agentów zewnętrznych, czyli obsługiwanych przez klientów, firmy fintech lub inne podmioty. OCC ostrzega, że mogą stwarzać ryzyko dla banku, nawet jeśli bank ich nie kontroluje. Egzaminatorzy mogą sprawdzać, czy bank stosuje weryfikację tożsamości, delegowane uprawnienia, limity transakcji, monitoring oraz możliwość zawieszenia lub cofnięcia dostępu.

Dokument pojawił się niespełna dwa tygodnie po publikacji, w której Axios opisał, że duże banki wykrywają na kontach klientów nieautoryzowanych agentów AI, którzy czasem robią coś, co wygląda na wykraczające poza polecenia użytkownika. Według Axiosa Morgan Stanley blokował zewnętrznych agentów, a JPMorgan, Bank of America i Citi ograniczały im dostęp. Kadra banków miała nazywać sytuację „horrifying”. Informację podał też Reuters, a my pisaliśmy o niej 22 października. Decrypt zaznacza, że OCC nie powiązało nowego dokumentu z tymi incydentami. Dla banków problem jest jednak ten sam: jak pozwolić klientom korzystać z asystentów AI przy finansach, nie dając autonomicznemu oprogramowaniu nieograniczonego dostępu do rachunków, i jak odróżnić legalnego agenta od takiego, który działa poza przyznanymi uprawnieniami.

Wytyczne, nie przepisy

OCC podkreśla, że dokument nie tworzy nowych wymogów ani egzekwowalnych standardów. Daje egzaminatorom sposób oceny AI w ramach istniejących kategorii ryzyka: operacyjnego, zgodności i cyberbezpieczeństwa. Banki nie muszą tworzyć osobnej kategorii ryzyka dla AI. Framework obejmuje AI w płatnościach, wykrywaniu nadużyć i obsłudze klienta, a urząd zapowiada aktualizacje wraz z rozwojem technologii.

Decrypt zwraca uwagę na detal terminologiczny: dokument używa określenia „Super Intelligence”, które administracja Donalda Trumpa każe stosować zamiast „artificial intelligence”. Zakres obejmuje jednak zwykłą AI i „autonomicznych agentów”, nie tylko hipotetyczne systemy przewyższające człowieka.