Satya Nadella proponuje nowy model bezpieczeństwa AI. Modele jako zagrożenie wewnętrzne

Szef Microsoftu Satya Nadella przedstawił propozycję podejścia do bezpieczeństwa systemów sztucznej inteligencji, w której sugeruje traktowanie modeli z dostępem do wrażliwych zasobów podobnie jak zagrożeń wewnętrznych w organizacji. W uzasadnieniu wskazuje, że ostrożność nie wynika z przypisywania modelom złych intencji, lecz z faktu, że każdy wystarczająco zdolny podmiot mający bezpośredni wgląd w kluczowe systemy może popełnić błąd lub zostać skompromitowany.

Nadella zwraca uwagę na fundamentalny problem obecnych architektur: przedsiębiorstwa coraz częściej powierzają modelom wrażliwe dane i zadania o krytycznym znaczeniu, mimo że wciąż brakuje pełnego wglądu w mechanizmy stojące za konkretnymi odpowiedziami i decyzjami tych systemów. Rozwiązaniem ma być wyraźne oddzielenie możliwości obliczeniowych i generatywnych modelu od kontroli nad jego faktycznymi działaniami.

W modelu proponowanym przez Microsoft kluczowe znaczenie ma architektura oparta na kilku zabezpieczeniach:

• Dywersyfikacja dostawców: korzystanie z wielu niezależnych modeli zamiast opierania infrastruktury na jednym systemie.
• Pełne rejestrowanie działań: rejestrowanie każdego zapytania, decyzji oraz operacji wykonywanej przez model w środowisku korporacyjnym.
• Niezależne audyty: weryfikacja procesów przez zewnętrzne narzędzia nadzorcze, a nie wyłącznie przez mechanizmy wbudowane w sam model.
• Nadzór człowieka: zachowanie bezwzględnej możliwości ręcznej interwencji i natychmiastowego wyłączenia systemu.

Według Nadelli najbardziej godny zaufania system to nie ten, który dysponuje najbardziej zaawansowanym modelem, lecz ten, w którym ograniczono do minimum konieczność bezkrytycznego zaufania do modelu.

Spór o pozycję i pojęcia

W swoim tekście Nadella używa określenia „superinteligencja” w odniesieniu do dzisiejszych modeli językowych, co stanowi wyraźne przesunięcie względem ugruntowanego, wieloletniego znaczenia tego pojęcia w literaturze naukowej. Tekst wpisuje się również w serię wypowiedzi, w których szef Microsoftu otwarcie wskazuje ryzyka związane z technologiami rozwijanymi przez OpenAI oraz Anthropic.

Komentatorzy branżowi interpretują ten krok jako element szerszej taktyki rynkowej Microsoftu, zmierzającej do osłabienia dominacji zewnętrznych twórców modeli i promowania własnej platformy integracyjnej. Niezależnie od tych ocen, postulaty dotyczące weryfikowalności, logowania operacji i ograniczonego zaufania do autonomicznych agentów odnoszą się do realnych wyzwań inżynieryjnych, z którymi mierzą się obecnie działy bezpieczeństwa wdrażające narzędzia AI.