Sztuczna inteligencja na polu bitwy: narzęddzie, trener czy egzekutor?

16 marca 1968 roku zapisał się w historii wojskowości USA jako jeden z najmroczniejszych dni. Tego dnia żołnierze kompanii C, 1. Batalionu, 20. Pułku Piechoty, ponoszący dotkliwe straty w walce z Vietcongiem, zaatakowali wioskę My Lai. Dowodzeni przez porucznika Williama Calley’a, bazując na błędnych danych wywiadowczych o obecności jednostki Vietcongu, ruszyli do akcji. Zamiast spodziewanego wroga zastali cywilów – głównie starców, kobiety i dzieci. Późniejsze dochodzenie armii USA wykazało, że żołnierze kompanii C „masakrowali dużą liczbę osób niebiorących udziału w walce” oraz dopuścili się tortur, gwałtów i dzieciobójstwa. Precyzyjna liczba zabitych Wietnamczyków wahała się między 175 a 500 osobami.

Paradoksalnie, rozmiar masakry mógłby być jeszcze większy, gdyby nie interwencja załogi amerykańskiego helikoptera, dowodzonej przez chorążego Hughta Thompsona Jr. Thompson, krążąc nad wioską, stał się świadkiem okrucieństw. Wielokrotnie lądował, aby pomóc cywilom i spróbować powstrzymać rzeź, bezpośrednio sprzeciwiając się rozkazom Calley’a. Dziś, gdy wyobrażamy sobie przyszłe pole bitwy, z żołnierzami równie rozemocjonowanymi czy zdezorientowanymi jak ci pod dowództwem Calley’a, powstaje pytanie: co, jeśli zabraknie odpowiednika Hughta Thompsona? Zamiast niego, nad polem walki z dużym prawdopodobieństwem krążyć będzie dron.

Drony jako „anioł stróż” pola walki?

Czy taki dron mógłby odegrać rolę podobną do tej, jaką odegrał Hugh Thompson w My Lai? To złożone pytanie, z którym dowódcy wojskowi muszą się zmierzyć. Choć taki „dron Thompsona” — nazwijmy go tak roboczo — nie jest jeszcze realny, jego możliwość staje się coraz bardziej wiarygodna. Jednostki piechoty już teraz szkolą się z użyciem dronów do wspierania ataków naziemnych. Algorytmy widzenia komputerowego w dronach są reklamowane jako zdolne do rozróżniania nieuzbrojonych cywilów od kombatantów. Te same drony mogłyby wykorzystywać generatywną sztuczną inteligencję (AI) do przekazywania informacji o cywilach lub kombatantach żołnierzom na ziemi, zarówno za pośrednictwem wiadomości tekstowych, jak i coraz bardziej realistycznych głosów.

Tym samym staje się realne, że przyszły „dron Thompsona” mógłby zostać rozmieszczony w celu wsparcia operacji wojskowych i interweniować w ataku naziemnym poprzez komunikowanie informacji, które mogłyby zapobiec lub powstrzymać naruszenia prawa konfliktów zbrojnych, konwencji genewskich oraz lokalnych zasad angażowania się w walkę. Pomijając na chwilę obecne możliwości techniczne i ograniczenia dronów, nasz hipotetyczny „dron Thompsona” powinien skłonić nas do zastanowienia się nad relacją między coraz bardziej zaawansowaną AI a ludźmi zaangażowanymi w konflikt zbrojny.

AI jako narzędzie, trener czy egzekutor?

Co, jeśli AI mogłaby „trenować” żołnierzy w trudnych sytuacjach, takich jak ta w My Lai? Czy to znaczy, że powinniśmy traktować AI nie tylko jako zwykłe narzędzie, ale jako trenera? A może „trener” to zbyt łagodne określenie? Czy może istnieć potencjalna rola AI jako „egzekutora” zasad regulujących profesjonalne postępowanie w konflikcie zbrojnym i ochronę cywilów? Swoboda działania przyznana dronom i względna autonomia, jaką zachowują ludzie, będą determinować, czy system wojskowy oparty na AI będzie pełnił rolę narzędzia, trenera, czy egzekutora. Przyszli dowódcy wojskowi będą coraz częściej stawać przed trudnymi decyzjami dotyczącymi wykorzystania AI i powinni dokładnie przemyśleć etyczne implikacje każdej z tych trzech ról.

Dominująca interpretacja systemu AI zakłada, że funkcjonuje on jedynie jako narzędzie. AI może być zaprogramowana do wykonywania konkretnego zadania i służyć precyzyjnemu celowi ustanowionemu przez ludzi dla ich własnych korzyści. W tym sensie przypomina użycie młotka do wbicia gwoździa w ścianę, zamiast użycia pięści. Zakres działania jest wąski, a cel jasno określony. Przykładami narzędzi mogą być algorytmy rozpoznawania celów lub wzmocnione AI systemy obrony przeciwrakietowej. Gdyby dron służył jedynie do prowadzenia nadzoru powietrznego lub retransmisji komunikacji, również mógłby być uznany za narzędzie.

Nasz hipotetyczny „dron Thompsona” miałby jednak szerszy zakres działania i mógłby arbitrażować między celami „lokalnymi” lub „globalnymi”. Cele lokalne to w tym przypadku krótkoterminowe zadania związane z misjami, podzadaniami lub punktami decyzyjnymi w ramach większej operacji. Często są to kroki instrumentalne w kierunku osiągnięcia celów globalnych — czyli nadrzędnych, ogólnych założeń, które kierują całą operacją. Swoboda arbitrażu między celami lokalnymi a globalnymi obejmuje kształtowanie tych celów lub określanie ich względnego priorytetu, gdy wchodzą ze sobą w konflikt.

Na przykład, wysyłając wiadomość do porucznika Calley’a, która jest bezpośrednio sprzeczna z jego działaniami lub zamiarem, „dron Thompsona” angażuje się w arbitraż zarówno celów globalnych, jak i lokalnych. Na poziomie globalnym, waży nadrzędny cel zniszczenia wroga i ochrony sił własnych w stosunku do ochrony niekombatantów, a także formułuje rekomendację dotyczącą ich względnego priorytetu dla jednostki. Na poziomie lokalnym, dron musi nawigować bardziej natychmiastowe zadania, takie jak tymczasowe wstrzymanie ognia podczas ponownej oceny informacji.

Niezależnie od celów lokalnych czy globalnych, AI mająca swobodę rekomendowania szerokiego zakresu opcji jest czymś znacznie więcej niż prostym narzędziem, zwłaszcza gdy obejmuje kształtowanie i arbitrażowanie celów. Dla przykładu: budzik może skutecznie zakłócić czyjeś pragnienie dłuższego snu, przynajmniej gdy rano śpią twardo. Jednak nie pomyślelibyśmy, że budzik jest czymś więcej niż użytecznym narzędziem do po prostu obudzenia się na czas do pracy. W przeciwieństwie do tego, co by było, gdyby oparty na AI budzik wyszedł poza zwykłe dzwonienie i zamiast tego zalecił znalezienie nowej pracy, która zaczyna się później w ciągu dnia? Budzik z taką swobodą byłby bardziej podobny do trenera niż zwykłego narzędzia. W związku z tym możemy myśleć o AI z ograniczoną lub niską swobodą arbitrażu celów jako o narzędziu, a o AI z większą swobodą w wykonywaniu zadań jako o trenerze.

Ludzka autonomia w dobie AI

Podczas gdy swoboda działania AI może wyznaczać jej rolę jako narzędzia lub trenera, kluczowe jest rozważenie roli człowieka w tej relacji. Musimy tu wprowadzić pojęcie ludzkiej autonomii – w szczególności, zdolności człowieka do ignorowania lub sprzeciwiania się systemowi AI.

Po pierwsze, aby wyjaśnić, co rozumiemy przez ludzką autonomię, przypomnijmy przykład budzika, który może zakłócić zamiar człowieka do spania, ale można go również drzemkę, wyłączyć lub rzucić o ścianę. Podobnie, nasz hipotetyczny „dron Thompsona” mógłby łatwo ingerować w proces podejmowania decyzji przez człowieka, na przykład, przedstawiając zdjęcia lotnicze cywilów lub wysyłając uporczywe alerty. „Dron Thompsona” mógłby nawet oceniać stan psychiczny żołnierzy na ziemi i odpowiednio dostosowywać komunikację. Jeśli te wiadomości mogą być ignorowane lub odwoływane, podobnie jak instrukcje trenera personalnego do ćwiczeń, to człowiek ma wysoki stopień autonomii w stosunku do trenera AI.

Ale co by było, gdyby jednostka poniosła konsekwencje za zignorowanie wskazówek „drona Thompsona”? Na przykład, co jeśli „dron Thompsona” zarejestruje decyzję lokalnego dowódcy o zignorowaniu informacji i zgłosi naruszenie do wyższego dowództwa? W tym scenariuszu człowiek nadal ma autonomię, choć mniejszą niż gdyby dron tylko przekazywał informacje żołnierzom na ziemi. W takich sytuacjach, gdzie ludzie mają mniejszą autonomię, nie jest to jak ignorowanie rady trenera personalnego. Jest to raczej ignorowanie trenera, który mógłby usunąć cię z boiska lub wyrzucić z drużyny.

Rozważmy jednak na chwilę, co wydarzyło się w My Lai: Hugh Thompson próbował wyjaśnić, że ci ludzie wydawali się cywilami, że nie oddano żadnego strzału i nie było żadnych dowodów obecności kombatantów na tym obszarze. Porucznik [Calley] kazał mu się nie wtrącać i zniknąć. Stali twarzą w twarz, krzycząc na siebie. Hugh wrócił do śmigłowca… Powiedział: „Idą w tę stronę. Sam pójdę do bunkra i wyprowadzę tych ludzi. Jeśli strzelą do tych ludzi, albo do mnie, gdy to robię, strzelajcie do nich!” Co by było, gdyby „dron Thompsona” zagroził tym samym? To słusznie wzbudziłoby niepokój wielu dowódców i żołnierzy. Ludzie na ziemi nie byliby w stanie zignorować ani unieważnić rozkazu drona, który jest gotowy strzelać. W tym przypadku taki dron z możliwością egzekwowania zasad śmiertelną siłą wykracza poza rolę trenera.

Z tej analizy wynika, że system AI, który może wymuszać określone działania lub decyzje, nie jest trenerem, ale bardziej przypomina „egzekutora”. Linia podziału między statusem AI jako trenera a egzekutora zależy od kwestii ludzkiej autonomii. Tam, gdzie człowiek zachowuje wystarczającą autonomię, aby zignorować AI, AI funkcjonuje jako trener. Tam, gdzie człowiek nie ma autonomii, aby zignorować AI, AI funkcjonuje jako egzekutor. Oczywiście, nie ma wyraźnej linii podziału między autonomią a jej brakiem. Raczej ludzka autonomia istnieje na spektrum.

Na jednym końcu spektrum znajduje się AI, która reaguje tylko na żądanie i może być ignorowana lub wyłączana z woli człowieka. Na drugim końcu spektrum znajduje się AI, która grozi strzelaniem, jeśli nie wykonasz jej rozkazu. Pomiędzy tymi dwoma skrajnościami istnieje spektrum różnych typów interakcji człowiek–maszyna z różnymi poziomami ludzkiej autonomii.

Pojawiają się również pytania o to, jakie czynniki zewnętrzne mogą wpływać na realizację ludzkiej autonomii. Na przykład, czy ludzie będą bardziej oporni w korzystaniu ze swojej autonomii, aby zignorować rekomendację AI, jeśli zostanie ona przekazana ludzkim, syntetycznym głosem i antropomorficznym wyglądem, a nie prostą wiadomością wyświetlaną na ekranie? Czy ludzie będą bardziej skłonni do przyjęcia ostrzeżenia pochodzącego od systemu oznaczonego jako „ekspert doradca” niż od tego nazwanego „narzędziem wsparcia”, nawet jeśli jest to identyczny system? Czy przekonujące chatboty zmniejszyłyby ludzką autonomię? Są to ważne pytania, ale wykraczają poza zakres naszej analizy.

Wojskowa kultura a AI

Kultura militarna Stanów Zjednoczonych jest przyzwyczajona do ludzkich trenerów i narzędzi technologicznych, nie zaś do technologicznych trenerów dla ludzkich narzędzi, a tym bardziej do systemów AI w roli egzekutorów. Ustanawiając system AI jako narzędzie, trenera lub egzekutora, wojsko będzie podejmować decyzje, które albo będą zgodne z tymi normami kulturowymi, albo zupełnie je zmienią. Nie wszystkie te wybory będą łatwe i jednoznaczne.

Użycie AI jako narzędzia do odparcia nadlatującego pocisku to prosta decyzja z historycznymi precedensami. Departament Obrony ustanowił politykę dotyczącą używania autonomicznych i półautonomicznych funkcji w systemach uzbrojenia. Wąska swoboda przyznana AI w zastosowaniach narzędziowych może zapewnić człowiekowi większą kontrolę nad działaniami podejmowanymi w określonych warunkach.

Przyznawanie szerszej swobody AI, zwłaszcza w kształtowaniu celów lokalnych i globalnych dla operacji wojskowych, jest bardziej nowatorskie niż użycie AI jako narzędzia, choć również nie bez precedensu. Na przykład, wielu amerykańskich żołnierzy korzysta z aplikacji, które „trenują” ich w kierunku celów fitness poprzez motywujące komunikaty. Choć mniej rozpowszechnione, istnieją przykłady powstających trenerów AI. Projekt REASON Agencji Zaawansowanych Projektów Badawczych w Dziedzinie Inteligencji (IARPA) na przykład, skłania analityków wywiadu do wyszukiwania konkretnych dowodów na poparcie swoich wniosków lub rozważania alternatywnych wyjaśnień.

Ponadto, pojawia się nowa klasa systemów wsparcia decyzji opartych na AI, które „trenują” dowódców wojskowych w procesie podejmowania decyzji, zwłaszcza na operacyjnym poziomie wojny. Co więcej, jak sugeruje scenariusz sci-fi z My Lai, mogą istnieć przypadki, w których AI mogłaby być użyta jako egzekutor. Nie jest jasne, czy taka decyzja byłaby skuteczna w zmniejszaniu szkód cywilnych – jest to temat wart zbadania, zanim nasz scenariusz sci-fi stanie się rzeczywistością. Niemniej jednak, żaden dowódca nie chce ponosić odpowiedzialności za umyślne zabijanie cywilów.

Masakra w My Lai przyniosła głęboki wstyd armii – która próbowała ją zatuszować – i stała się globalnym skandalem, nadal studiowanym w akademiach wojskowych jako przestroga. Perspektywa AI jako „bezpiecznika”, którego dowódca wojskowy mógłby użyć do zapobiegania lub przerywania takiej katastrofy, ma oczywisty urok zarówno z perspektywy humanitarnej, jak i operacyjnej.

Pokazaliśmy już, jak zwiększenie swobody działania AI i zmniejszenie autonomii człowieka zmienia role AI z narzędzia na trenera, a następnie na egzekutora. Przywódcy wojskowi USA powinni zatem rozważyć, w jaki sposób projekt systemu AI i wybory dotyczące jego zatrudnienia odzwierciedlają ich pragnienie wykorzystania każdej roli i ich komfort w odniesieniu do konsekwencji tego wyboru. Instruktorzy przywództwa i etyki powinni inicjować dyskusje w swoich klasach na temat tego, co dowódcy wojskowi na wszystkich poziomach powinni rozważyć w związku z zatrudnieniem AI, w tym potencjalne implikacje dla ludzkiej autonomii. Teoretycy i etycy, informowani przez badaczy i deweloperów AI, powinni przedstawić swoje przemyślenia dotyczące praktycznych i etycznych kompromisów, które dowódcy muszą rozważyć między egzekwowaniem przez AI a autonomią żołnierzy. Kierownicy programów powinni zastanowić się, w jaki sposób umożliwić swobodę dowodzenia w odniesieniu do tych technologii poprzez szkolenia i wybory projektowe dotyczące czynników ludzkich. Technologowie powinni rozważyć swoją rolę zarówno we wspieraniu tych dyskusji, jak i w projektowaniu rozwiązań AI i interfejsów, które etycznie służyć będą celom operacyjnym.

Nie ma wyraźnej granicy między „ludzką autonomią” a „brakiem ludzkiej autonomii”. Nawet gdy „trenerzy” AI są łatwo ignorowani, wysyłane przez nich wiadomości będą wpływać na podejmowanie decyzji przez człowieka. Ten wpływ może być niewielki – wiadomość tekstowa wyświetlana na ekranie – lub bardziej stanowczy, jak w przypadku głośnego głosu w radiu lub wiadomości manipulującej emocjonalnie. Będą to wybory projektowe dokonywane przez technologów i dowódców, a obaj powinni pamiętać o skutkach takich decyzji projektowych na ramy narzędzia, trenera lub egzekutora.

Niektórzy mogą uznać fikcyjnego „drona Thompsona”, który może w pewnych okolicznościach unieważniać rozkazy wojskowe, za nierealne z powodu długo ustalonych amerykańskich zasad wojskowych dotyczących dowodzenia, delegowania i ludzkiej autonomii. Jednak nastąpiło stałe zmniejszanie niezależności i autonomii poszczególnych jednostek, począwszy od instalacji radiostacji na okrętach wojennych i kontynuując poprzez transmisję na żywo operacji bojowych. Poza Stanami Zjednoczonymi, nasz scenariusz może być jeszcze bardziej realistyczny.

Weźmy pod uwagę przyjęcie algorytmicznej wojny przez rosyjską armię i trudności Chińskiej Armii Ludowo-Wyzwoleńczej w ustanawianiu kompetentnych i niezależnych dowódców średniego szczebla. W obu przypadkach istnieją oznaki, że wyżsi dowódcy mogą próbować polegać na systemach technicznych, aby uniknąć polegania na niższych rangą żołnierzach, którym może brakować szkolenia lub dobrego osądu. Ponadto, AI pełniąca rolę trenera niekoniecznie oznacza mniejszą autonomię dla żołnierzy na ziemi. Jednostka nadal może w pełni zachować zdolność do ignorowania lub unieważniania rekomendacji AI trenera. W rzeczywistości, włączenie trenera AI, który może skuteczniej kształtować i arbitrażować cele lokalne i globalne, może oferować sposób na wspieranie, a nie podważanie, ciągłego wykonywania autonomii i autonomii przez jednostkę. To, co stanowi „trening”, a co może być uważane za „manipulację” AI, jest trudne do określenia. Podobnie, co może stanowić ludzką autonomię? Czy zgoda na podjęcie służby z nadzorcą AI wystarczy, aby uznać ją za przejaw autonomii? Te pytania wymagają dalszych badań i eksploracji.

Niemniej jednak, AI funkcjonująca jedynie jako trener może nie wystarczyć, aby zapobiec katastrofom takim jak My Lai. Co by było, gdyby lokalny dowódca zignorował rozkaz „drona Thompsona” o zaprzestaniu atakowania cywilów, lub strzelił do niego, aby pozbyć się jego natrętnego charakteru? Aby skuteczniej zapobiec masakrze, czy ludzie powinni być pozbawieni możliwości ignorowania „drona Thompsona”? Odpowiedzi na te pytania zależą od skuteczności drona w kształtowaniu wyników. W pewnym momencie jednak, zdolność do kształtowania wyników może wejść w konflikt z autonomią ludzi. W tym sensie wojsko może stanąć przed krytycznym kompromisem między zwiększaniem efektywności operacyjnej z jednej strony, a zachowaniem ludzkiej autonomii i osądów na ziemi z drugiej. Nie sugerujemy, aby wojsko przyznawało AI większą swobodę działania lub większą władzę jedynie w celu zwiększenia efektywności operacyjnej. Raczej naszym celem jest zachęcenie dowódców wojskowych do starannego rozważenia, w jaki sposób ich decyzje o użyciu AI mogą wpływać na niezależne podejmowanie decyzji przez ich żołnierzy.