Nowa architektura AI naśladuje mózg człowieka i deklasuje LLM-y w zadaniach wymagających rozumowania

Singapurscy badacze z firmy Sapient opracowali nowatorski model sztucznej inteligencji, który w odróżnieniu od większości LLM-ów (Large Language Models) takich jak ChatGPT, został zaprojektowany tak, by naśladować sposób, w jaki rozumuje ludzki mózg. Hierarchiczny model rozumowania (HRM – Hierarchical Reasoning Model) integruje informacje w sposób przypominający biologiczną architekturę, gdzie różne obszary mózgu przetwarzają dane w różnych skalach czasowych – od milisekund po minuty.

Według twórców, HRM charakteryzuje się wyższą efektywnością i lepszymi wynikami, przy jednoczesnym wykorzystaniu mniejszej liczby parametrów i przykładów treningowych. HRM bazuje na 27 milionach parametrów i 1000 przykładach treningowych. Dla porównania, zaawansowane LLM-y operują na miliardach, a nawet bilionach parametrów. Szacuje się, że GPT-5, najnowszy model OpenAI, może posiadać od 3 do 5 bilionów parametrów.

Model HRM został poddany testom w ramach ARC-AGI benchmark – wymagającego sprawdzianu, mającego ocenić zbliżenie modeli AI do poziomu sztucznej inteligencji ogólnej (AGI). Wyniki HRM okazały się imponujące. W ARC-AGI-1 model osiągnął wynik 40.3%, wyprzedzając o3-mini-high (34.5%), Claude 3.7 (21.2%) i Deepseek R1 (15.8%). W trudniejszym teście ARC-AGI-2, HRM uzyskał 5%, podczas gdy o3-mini-high 3%, Deepseek R1 1.3%, a Claude 3.7 zaledwie 0.9%.

Obecnie, większość LLM-ów korzysta z metody rozumowania „chain-of-thought” (CoT), która polega na rozkładaniu złożonego problemu na prostsze, pośrednie kroki, wyrażone w języku naturalnym. Metoda ta imituje proces ludzkiego myślenia poprzez dzielenie zadań na mniejsze, łatwiejsze do przetworzenia części. Jednak naukowcy z Sapient argumentują, że CoT posiada istotne wady, takie jak kruchość dekompozycji zadań, duże zapotrzebowanie na dane i wysokie opóźnienia.

HRM realizuje zadania sekwencyjnego rozumowania w pojedynczym przebiegu, bez nadzoru nad pośrednimi krokami, za pomocą dwóch modułów. Moduł wyższego poziomu odpowiada za powolne, abstrakcyjne planowanie, natomiast moduł niższego poziomu zajmuje się szybkimi i szczegółowymi obliczeniami. Taki sposób działania odzwierciedla sposób, w jaki ludzki mózg przetwarza informacje w różnych obszarach. Model HRM stosuje iteracyjne udoskonalanie – technikę komputerową, która poprawia dokładność rozwiązania poprzez wielokrotne doprecyzowywanie wartości przybliżonej – w krótkich seriach „myślenia”. Każda seria rozważa, czy proces myślenia powinien być kontynuowany, czy odpowiedź powinna zostać uznana za ostateczną.

HRM osiągnął niemal idealne wyniki w rozwiązywaniu złożonych łamigłówek Sudoku (z którymi konwencjonalne LLM-y nie potrafią sobie poradzić), a także w znajdowaniu optymalnych ścieżek w labiryntach. Autorzy udostępnili kod modelu na GitHubie.

Organizatorzy ARC-AGI podjęli próbę odtworzenia wyników po tym, jak twórcy upublicznili swój model. Pomimo odtworzenia ogólnych wyników, odkryli oni, że hierarchiczna architektura miała minimalny wpływ na wydajność. Kluczowym czynnikiem okazał się słabo udokumentowany proces 'refinement’ podczas treningu, który znacząco poprawił wyniki. To pokazuje, że w rozwoju AI kluczowe znaczenie mają nie tylko same architektury, ale także metody treningowe.