Krok w stronę zrozumienia AI. OpenAI udostępnia modele o rzadkiej architekturze

OpenAI udostępniło na platformach Hugging Face i GitHub zestaw modeli oraz narzędzi, które stanowią kolejny krok w dążeniu do zrozumienia wewnętrznych mechanizmów działania sztucznej inteligencji. Projekt, nazwany „circuit-sparsity”, opiera się na koncepcji modeli językowych, których architektura jest celowo uproszczona już na etapie treningu. Celem jest ułatwienie tzw. interpretowalności, czyli zdolności do wyjaśnienia, dlaczego model podjął konkretną decyzję.

Architektura wymuszona w trakcie treningu

Modele, nad którymi pracowali badacze OpenAI, to transformery typu GPT-2 (tylko z dekoderem), trenowane na kodzie w języku Python. Ich wyjątkowość polega na metodzie wprowadzania rzadkości (ang. sparsity). Zamiast typowego podejścia, w którym wytrenowaną już, gęstą sieć neuronową „przycinano” z najmniej istotnych połączeń, tutaj rzadkość jest fundamentalnym elementem samego procesu optymalizacji. Po każdym kroku uczenia algorytm zachowuje jedynie połączenia (wagi) o największej wartości, a resztę zeruje. W najbardziej „przerzedzonych” wariantach zaledwie jedno na tysiąc połączeń między neuronami pozostaje aktywne.

Takie podejście pozwala na precyzyjną kontrolę nad złożonością modelu. Jak wykazali autorzy badania, przy zachowaniu tej samej skuteczności w zadaniach pretreningowych, „obwody” neuronowe wyodrębnione z rzadkich modeli są średnio 16 razy mniejsze niż te z ich gęstych odpowiedników.

Od sieci neuronowej do logicznego obwodu

Centralnym pojęciem w pracy OpenAI jest „obwód” (ang. circuit). Nie chodzi tu o fizyczny układ, lecz o zidentyfikowaną, minimalną grupę neuronów i połączeń między nimi, która odpowiada za wykonanie konkretnego, wąsko zdefiniowanego zadania. Aby je odnaleźć, badacze stworzyli 20 prostych testów polegających na przewidywaniu następnego tokena w kodzie Pythona. Zadania te sprawdzały, czy model potrafi na przykład prawidłowo zamknąć cudzysłów (pojedynczy czy podwójny), policzyć zagnieżdżone nawiasy kwadratowe czy śledzić typ zmiennej.

Dla każdego z tych zadań model był następnie „przycinany” na poziomie pojedynczych węzłów (neuronów i kanałów uwagi), aby znaleźć najmniejszy możliwy obwód, który wciąż radzi sobie z problemem. Wyniki okazały się fascynujące. Przykładowo, obwód odpowiedzialny za zamykanie cudzysłowów składał się z zaledwie 12 neuronów i 9 połączeń. Jego działanie było zaskakująco logiczne: jeden neuron w niższej warstwie sieci aktywował się w odpowiedzi na dowolny cudzysłów otwierający, a drugi klasyfikował jego typ (pojedynczy lub podwójny). Informacje te były następnie przekazywane do głowicy uwagi w wyższej warstwie, która na ich podstawie wybierała właściwy znak zamykający.

Podobnie, w zadaniu liczenia nawiasów, model wykształcił mechanizm, w którym jedna z głowic uwagi uśredniała aktywacje neuronów wykrywających nawiasy otwierające, efektywnie obliczając głębokość zagnieżdżenia i zapisując tę informację w tzw. kanale rezydualnym do dalszego wykorzystania.

Most łączący modele rzadkie z gęstymi

Największym wyzwaniem w badaniach nad interpretowalnością jest przełożenie wniosków z małych, wyspecjalizowanych modeli na potężne, uniwersalne sieci, takie jak GPT-4. OpenAI proponuje tu nowatorskie rozwiązanie, które nazywa „mostem” (ang. bridge). To para koder-dekoder, która potrafi mapować stan aktywacji neuronów między modelem rzadkim a tradycyjnym, gęstym modelem.

Dzięki temu mechanizmowi badacze mogą dokonać precyzyjnej zmiany w zrozumiałym, rzadkim obwodzie (np. zaburzyć działanie neuronu klasyfikującego typ cudzysłowu), a następnie przenieść tę modyfikację do gęstego modelu i obserwować, jak wpłynie to na jego działanie. Chociaż technika ta jest wciąż na wczesnym etapie rozwoju, stanowi obiecującą ścieżkę do kontrolowanego badania i modyfikowania zachowań wielkoskalowych systemów AI, których działanie pozostaje dziś w dużej mierze tajemnicą.

Narzędzia dostępne dla wszystkich

Zgodnie ze swoją polityką, OpenAI udostępniło wyniki pracy społeczności. Na platformie Hugging Face opublikowano model o 400 milionach parametrów, a w repozytorium na GitHubie znalazł się kompletny kod źródłowy, definicje zadań testowych oraz interfejs do wizualizacji obwodów. Wszystko na licencji Apache 2.0, co pozwala na szerokie wykorzystanie w dalszych badaniach. To ważny wkład w globalny wysiłek na rzecz uczynienia sztucznej inteligencji bardziej przejrzystą i przewidywalną.