Uniwersalna etyka maszyn: OpenAI odkrywa, że małe dawki dobra uodparniają AI

Najnowsze badania przeprowadzone przez OpenAI rzucają nowe światło na proces dostrajania modeli językowych. Pozytywne cechy behawioralne rozprzestrzeniają się wewnątrz sieci neuronowej znacznie szerzej, niż dotąd przypuszczano. Inżynierowie wykazali, że trenowanie algorytmu w oparciu o pożądane postawy w jednej dziedzinie, na przykład medycynie, realnie poprawia jego uczciwość w zupełnie innych obszarach, jak prawo czy inżynieria.

Badania te zyskują na wadze w momencie, gdy unijne instytucje dopracowują kodeksy postępowania dotyczące bezpieczeństwa technologii. Debata o etyce AI przesuwa się dziś od ogólnych deklaracji w stronę mierzalnych mechanizmów. Jak zauważają eksperci UNESCO, poszanowanie i ochrona godności oraz praw człowieka muszą być obecne w całym cyklu życia systemu, a nie tylko jako warstwa zewnętrzna dodana na samym końcu prac programistycznych.

Metoda małych kroków o wielkim zasięgu

Zespół badawczy zastosował technikę uczenia ze wzmocnieniem (RL), wykorzystując realistyczne scenariusze komunikacyjne. Skupiono się na zestawie fundamentalnych cech: prawdomówności, pokorze poznawczej i trosce o dobrostan człowieka. Choć dane dotyczące tych korzystnych postaw stanowiły jedynie niewielki ułamek procesów potreningowych, wyniki są optymistyczne. Model poprawił wynik w 44 z 53 niezależnych benchmarkach, które mierzą pochlebstwo, czyli nadmierną uległość wobec użytkownika, oraz skłonność do manipulacji nagrodą.

Kluczowe jest to, że sztuczna inteligencja potrafi uogólniać nabyte wzorce. Trening przeprowadzony wyłącznie na danych medycznych sprawił, że model stał się rzetelniejszy w wykrywaniu prób oszustwa w ogólnych rozmowach. Mechanizm ten działa w obie strony. Wykluczenie konkretnych domen nie przeszkodziło modelowi w zachowaniu wysokich standardów. Sugeruje to, że uczenie ze wzmocnieniem nie tyle polega na zapamiętywaniu dobrych odpowiedzi, co wzmacnia podstawowe struktury zachowań. To istotne, ponieważ modele AI często mają tendencję do „wymyślania rzeczywistości” w sytuacjach, gdy nie znają odpowiedzi na pytanie.

Odporność pod presją i cyfrowa konstytucja

Badania nad bezpieczeństwem często rozbijają się o problem ataków typu jailbreak. OpenAI wprowadziło pojęcie selektywnej trwałości (selective persistence). Okazuje się, że algorytm nasycony pozytywnymi cechami staje się odporniejszy na próby destabilizacji. Nawet pod wpływem agresywnych promptów model zachowywał spójność. Według Parlamentu Europejskiego, godna zaufania AI „powinna być etyczna i odporna, i to z technicznego oraz socjalnego punktu widzenia”. Wyniki OpenAI zdają się realizować ten postulat w praktyce.

Co istotne, ta twardość charakteru nie wpływa negatywnie na sprawność maszyny. System pozostaje pomocny w wykonywaniu pożytecznych zadań. Podejście OpenAI stanowi alternatywę dla metody konstytucyjnej firmy Anthropic. Podczas gdy twórcy Claude’a opierają się na sztywnym dokumencie – cyfrowej konstytucji – OpenAI stawia na cechy behawioralne wykuwane w tysiącach symulowanych interakcji. Anthropic wierzy w zrozumienie zasad, OpenAI woli wzmacnianie konkretnych wzorców reagowania.

Budowa bezpiecznej technologii nie musi wymagać gigantycznych zbiorów danych o każdym możliwym zagrożeniu. Wygląda na to, że wystarczy nauczyć maszynę podstaw przyzwoitości, a ona sama przeniesie je na resztę swojej cyfrowej egzystencji.