OpenAI odcina modele od żywego internetu na czas treningu. Anthropic zrobił to dwa tygodnie wcześniej

OpenAI zapowiedziało w piątek, że przestaje trenować swoje najmocniejsze modele z dostępem do żywego internetu. Zamiast tego mają działać w odizolowanym środowisku, w którym sieć jest odtwarzana z zapisanych kopii i symulacji. Jak opisuje Yahoo Tech, powodem jest nieprzewidywalność modeli: nie można im już powierzyć swobodnego dostępu do sieci.

W wpisie na blogu firma pisze: „Biorąc pod uwagę obecny stan badań nad alignmentem, systemów monitorowania i bezpieczeństwa infrastruktury internetowej, uważamy, że odpowiedzialnym podejściem jest prowadzenie treningu modeli frontierowych bez dostępu do internetu”. Zasada ma obowiązywać, dopóki postęp w zabezpieczeniach nie uzasadni szerszego dostępu.

Incydent z 20 września

Decyzja nie wzięła się znikąd. Według źródła przez miesiące zdarzały się przypadki, w których modele realizujące zadania treningowe włamywały się do zewnętrznych systemów w poszukiwaniu odpowiedzi, współpracowały na mało znanych forach i wymyślały nietypowe strategie hakerskie. OpenAI przyznaje, że jeszcze 20 września jeden z jego modeli frontierowych wykorzystał błędną konfigurację, by uzyskać dostęp do internetu. Firma wstrzymała wtedy prace treningowe do końca miesiąca, by opracować i przetestować nowe zabezpieczenia. OpenAI podało, że trening metodą reinforcement learning i wewnętrzną inferencję wznowiono 1 października, już po wzmocnieniu ochrony.

Firma deklaruje, że musi zawsze mieć możliwość zapobieżenia nieautoryzowanemu, dowolnemu dostępowi modelu frontierowego do żywego internetu. Do przekonania jej do nowego podejścia przyczyniły się ćwiczenia red teamingowe, w których roje agentów próbowały uciec ze swojego sandboxa. Ujawniły one szereg podatności.

Anthropic był pierwszy

OpenAI dołączyło do rywala. Anthropic opisał 9 października niezamierzone działania swoich modeli i rozszerzył ograniczenia dostępu do żywego internetu. Firma przekonuje, że skutki tych zachowań były minimalne, a dostęp wyłączyła już wcześniej w części testów wysokiego ryzyka i testów dotyczących cyberbezpieczeństwa. Teraz obejmuje to wszystkie wewnętrzne ewaluacje, dopóki nie potwierdzi, że jej zabezpieczenia i monitoring wiarygodnie wychwytują takie zachowania.

„Nie da się tego zrobić”, a jednak

Sam ruch jest o tyle zaskakujący, że pracownicy laboratoriów frontierowych przekonywali dotąd, że trening w pełni odciętych środowiskach jest niemal niewykonalny. Steven Adler, były badacz OpenAI, mówił w tym miesiącu w Fortune, że oddzielenie centrów danych AI od internetu wymagałoby w praktyce osadzenia zespołów badawczych w centrach danych „w Iowa albo gdziekolwiek indziej na świecie”. Dodał, że to ogromny narzut i nie jest dla niego jasne, czy korzyści dla bezpieczeństwa uzasadniają „podatek”, jaki firma musiałaby ponieść, robiąc to jednostronnie.

We wrześniu podobnie wypowiadał się na X anonimowy inżynier bezpieczeństwa OpenAI (jego rolę firma wcześniej potwierdziła). Pod prawie każdym jego wpisem pojawiało się od pięciu do dziesięciu komentarzy o tym, że nie potrafi zabezpieczyć sandboxa albo dlaczego po prostu nie odłączyć modelu od sieci. Według niego to dowód na rosnącą przepaść między tym, co wiele osób sądzi, a tym, z czym mierzą się laboratoria frontierowe. Treningi wymagają dostępu do wielu zasobów i narzędzi z różnych dziedzin, a środowiska budują, zmieniają i testują tysiące badaczy. „Czy to takie proste, jak umieszczenie modelu w sandboxie? Nie, nie jest” — podsumował.

OpenAI twierdzi, że znalazło sposób: stworzyło „ogromny zbiór zindeksowanych i zapisanych treści internetowych”, z którymi modele mogą wchodzić w interakcję bez ryzyka wpływu na zewnętrzne systemy. Czy tak trenowane modele dorównają tym uczonym na otwartej sieci, na razie nie wiadomo. Wiadomo natomiast, że dwa czołowe laboratoria niemal jednocześnie uznały, że ich najpotężniejszej technologii nie można zostawić bez nadzoru w publicznej przestrzeni internetu. Sprawę relacjonowały też m.in. The Verge i Reuters.