Gemma Scope 2: Google DeepMind otwiera okno na wewnętrzne działanie modeli AI

W obliczu rosnącej złożoności i skali modeli sztucznej inteligencji, fundamentalnym wyzwaniem pozostaje zrozumienie ich wewnętrznego funkcjonowania. Google DeepMind, dążąc do zwiększenia transparentności i bezpieczeństwa AI, udostępniło Gemma Scope 2 – rozbudowaną platformę narzędzi interpretacyjnych przeznaczoną dla rodziny modeli językowych Gemma 3. To otwarcie ma kluczowe znaczenie dla zespołów zajmujących się bezpieczeństwem i alineacją AI, oferując bezprecedensową możliwość dokładnego śledzenia zachowań modelu.

Gemma Scope 2: nowa era interpretowalności

Gemma Scope 2 to coś więcej niż zestaw narzędzi; to kompleksowy ekosystem, który ma za zadanie działać jak mikroskop, pozwalający na dekompozycję wielowymiarowych aktywacji modeli AI na zrozumiałe dla człowieka cechy. Opiera się na rzadkich autoenkoderach (SAE), które zostały wytrenowane na ogromnych zbiorach danych, obejmujących około 110 petabajtów wewnętrznych aktywacji modeli Gemma 3. Całość architektur interpretacyjnych liczy ponad bilion parametrów. Dzięki temu możliwe jest mapowanie abstrakcyjnych procesów na konkretne koncepcje lub wzorce zachowań.

Platforma ta obejmuje wszystkie warianty modeli Gemma 3, od najmniejszego z 270 milionami parametrów, po największy z 27 miliardami. Jest to kluczowe, ponieważ wiele istotnych dla bezpieczeństwa zachowań uwidacznia się dopiero w modelach o większej skali. Jeżeli model Gemma 3 wykazuje zachowania takie jak jailbreaking, halucynacje czy tendencje sycophantyczne, Gemma Scope 2 pozwala badaczom na precyzyjne ustalenie, które wewnętrzne cechy zostały aktywowane i w jaki sposób te aktywacje przepływały przez sieć neuronową. To odejście od dotychczasowego polegania wyłącznie na analizie wejść i wyjść, co znacząco podnosi jakość diagnostyki i możliwości interwencji.

Ewolucja od Gemma Scope do Gemma Scope 2

Pierwsza wersja Gemma Scope, dedykowana modelom Gemma 2, już wcześniej umożliwiła znaczące postępy w badaniach nad halucynacjami, identyfikacją „wiedzy” modelu i tworzeniem bezpieczniejszych algorytmów. Gemma Scope 2 rozszerza te możliwości w czterech kluczowych obszarach:

1. Szerszy zasięg: Narzędzia obejmują teraz całą rodzinę Gemma 3, aż do modeli z 27 miliardami parametrów. To pozwala na studiowanie zachowań emergentnych, obserwowanych tylko w większych modelach, takich jak te analizowane wcześniej w 27-miliardowym modelu C2S Scale w zadaniach odkryć naukowych.
2. Głębsza analiza warstw: Gemma Scope 2 zawiera SAE i transkodery wytrenowane na każdej warstwie modelu Gemma 3. Specjalne transkodery pomijające warstwy (skip transcoders) oraz transkodery międzywarstwowe (cross-layer transcoders) umożliwiają śledzenie wieloetapowych obliczeń rozproszonych w różnych warstwach.
3. Udoskonalone techniki treningowe: Zastosowanie techniki treningowej Matrioszka pozwoliło SAE na uczenie się bardziej użytecznych i stabilnych cech, niwelując niedociągnięcia zidentyfikowane w poprzedniej wersji Gemma Scope.
4. Narzędzia dla modeli konwersacyjnych: Dedykowane narzędzia interpretacyjne dla modeli Gemma 3 wytrenowanych do czatu umożliwiają analizę złożonych zachowań, takich jak próby omijania zabezpieczeń (jailbreaks), mechanizmy odmowy (refusal mechanisms) oraz wierność rozumowania łańcucha myśli (chain of thought faithfulness).

Kluczowe wnioski i znaczenie dla przyszłości AI

Gemma Scope 2 stanowi znaczący krok naprzód w dziedzinie interpretowalności AI. Oferuje kompleksowy zestaw narzędzi dla wszystkich wariantów Gemma 3, pozwalając na wgląd w każdą warstwę zarówno wstępnie wytrenowanych, jak i dostrojonych modeli. Wykorzystanie rzadkich autoenkoderów jako „mikroskopu” pozwala na dekompozycję wewnętrznych aktywacji na zrozumiałe, koncepcyjne cechy, a transkodery śledzą propagację tych cech przez kolejne warstwy.

Narzędzia te są strategicznie pozycjonowane w kontekście prac nad bezpieczeństwem AI, umożliwiając dogłębne badanie takich zjawisk jak jailbreaks, halucynacje, zachowania sycophantyczne, mechanizmy odmowy oraz rozbieżności między wewnętrznym stanem a komunikowanym rozumowaniem w modelach Gemma 3. Otwarte udostępnienie tej platformy ma potencjał, by znacząco przyspieszyć badania nad bezpieczną i niezawodną sztuczną inteligencją, otwierając nowe perspektywy dla deweloperów i badaczy na całym świecie.