Czy neurony modeli AI są bardziej czytelne, niż sądzono? Reinterpretacja klasycznych przykładów wywołała spór

Sztuczne neurony w modelach uczenia maszynowego mogą być łatwiejsze do rozszyfrowania, niż zakładała część badaczy zajmujących się interpretowalnością. Taką tezę stawia Nick Cammarata z laboratorium Goodfire w eseju „Neural Networks Are Already Clean”. Jego zdaniem przypadki, które uchodziły za dowód na chaotyczne upychanie niepowiązanych pojęć w pojedynczych jednostkach sieci, można wyjaśnić prościej: neurony te wykrywają wspólny wzorzec geometryczny lub semantyczny, którego wcześniej nie zauważono.

Kształt litery V zamiast kotów i samochodów

W badaniach nad wewnętrznym działaniem sieci neuronowych kluczowym pojęciem jest polisemantyczność – sytuacja, w której pojedynczy neuron aktywuje się pod wpływem zupełnie różnych bodźców. Zjawisko to tłumaczono hipotezą superpozycji: model, dysponując ograniczoną liczbą wymiarów, kompresuje rzadko współwystępujące pojęcia w tych samych jednostkach.

Sztandarowym przykładem z wczesnych prac był neuron w wizyjnym modelu InceptionV1, który reagował jednocześnie na kocie pyski oraz przody samochodów. Cammarata, współautor klasycznego artykułu „Zoom In”, uważa dziś tamtą interpretację za chybioną. Według niego neuron ten nie łączy dwóch odrębnych pojęć, lecz działa po prostu jako detektor spiczastych kształtów przypominających literę V – reaguje na lisie pyski, kocie uszy czy płomienie, a jego aktywność wygaszają formy zaokrąglone.

Podobnie badacz odczytuje inny znany przypadek z tej samej architektury, w którym przód samochodu zdawał się aktywować obwód powiązany z rozpoznawaniem psów. Zdaniem Cammaraty badana grupa neuronów reagowała nie na gatunki, lecz na orientację obiektu względem kamery. Wskazuje to, że część rzekomego zamieszania w reprezentacjach sieci mogła wynikać z ograniczeń ówczesnych narzędzi badawczych, a nie z faktycznego splątania pojęć.

Wstępne deklaracje i sceptycyzm badaczy

Cammarata odnosi te obserwacje do modeli językowych, opisując mechanizm „rekurencyjnego uogólniania”, w którym neuron stopniowo rozszerza bazowy wzorzec na powiązane frazy. W analizie modelu Qwen3-32B badacz podaje, że około 90 proc. biegunów neuronów ma jedną główną funkcję, około 7 proc. odpowiada za dwie powiązane, a zaledwie 2–4 proc. pozostaje niewyjaśnionych. Goodfire deklaruje analogiczne obserwacje dla architektur o skali setek miliardów i bilionów parametrów.

Liczby te wymagają jednak ostrożności. Towarzysząca esejowi praca techniczna nie została jeszcze opublikowana, a same statystyki dotyczą biegunów neuronów (kierunków aktywacji) w badaniu prowadzonym przez jeden zespół, bez niezależnej weryfikacji.

Środowisko akademickie studzi oczekiwania co do unieważnienia superpozycji. Neel Nanda z Google DeepMind podkreśla w komentarzu do debaty, że bezpośrednia analiza neuronów jest wartościowa i skalowalna, ale nie oznacza pełnego rozwiązania problemu interpretowalności. Nanda wskazuje, że modele językowe mieszczą znacznie więcej relacji faktograficznych, niż posiadają parametrów, a informacje te mogą być zakodowane w subtelnych, trudnych do uchwycenia aktywacjach. Wniosków z prostych modeli wizyjnych nie da się więc bezpośrednio przełożyć na wielkie modele językowe.