Sakana AI redefiniuje pracę LLM: Zespołowa inteligencja przełamuje bariery

W obliczu dynamicznego rozwoju sztucznej inteligencji, japońskie laboratorium Sakana AI wprowadza innowacyjne podejście do współpracy modeli językowych, które może zrewolucjonizować sposób projektowania i wdrażania systemów AI. Nowa technika, nazwana Multi-LLM AB-MCTS, pozwala wielu dużym modelom językowym (LLM) na wspólną realizację złożonych zadań, tworząc spójny „zespół marzeń” zdolny do rozwiązywania problemów, które są poza zasięgiem pojedynczych modeli.

Potęga zbiorowej inteligencji

Współczesne modele AI, choć coraz bardziej zaawansowane, posiadają swoje specyficzne mocne i słabe strony, wynikające z unikalnych danych treningowych i architektury. Podczas gdy jeden model może doskonale radzić sobie z kodowaniem, inny może być mistrzem kreatywnego pisania. Badacze z Sakana AI postrzegają te różnice nie jako ograniczenie, lecz jako kluczowy atut.

„Postrzegamy te różnice i zróżnicowane zdolności nie jako ograniczenia, ale jako cenne zasoby do tworzenia zbiorowej inteligencji” – podkreślają w swoim blogu. Koncepcja ta ma swoje korzenie w ludzkich osiągnięciach, które często wynikają z pracy zróżnicowanych zespołów. Przeniesienie tej zasady na grunt AI ma pozwolić systemom na osiągnięcie znacznie więcej dzięki synergii.

Skalowanie w czasie wnioskowania

Algorytm Sakana AI stanowi przykład „skalowania w czasie wnioskowania” (inference-time scaling), obszaru badań, który w ostatnim roku zyskał na popularności. W przeciwieństwie do „skalowania w czasie treningu” – polegającego na powiększaniu modeli i danych treningowych – skalowanie w czasie wnioskowania skupia się na alokacji większych zasobów obliczeniowych po zakończeniu treningu modelu, w celu poprawy jego wydajności.

Istniejące już techniki, takie jak uczenie ze wzmocnieniem do generowania dłuższych sekwencji rozumowania, czy badanie wielokrotne, polegające na wielokrotnym zadawaniu tego samego pytania w celu uzyskania różnorodnych odpowiedzi, są punktem wyjścia dla Sakana AI. „Nasz framework oferuje mądrzejszą, bardziej strategiczną wersję «Best-of-N» (czyli testowania wielokrotnego)” – wyjaśnia Takuya Akiba, naukowiec z Sakana AI i współautor pracy. „Uzupełnia on techniki rozumowania, takie jak CoT (Chain of Thought), dynamicznie wybierając strategię wyszukiwania i odpowiedni LLM, maksymalizując wydajność przy ograniczonej liczbie wywołań LLM, co przekłada się na lepsze wyniki w złożonych zadaniach” – dodaje.

Adaptacyjne wyszukiwanie rozgałęzione – jak to działa?

Rdzeniem nowej metody jest algorytm Adaptive Branching Monte Carlo Tree Search (AB-MCTS), który umożliwia LLM-om efektywną pracę metodą prób i błędów. Algorytm inteligentnie równoważy dwie strategie wyszukiwania: „głębsze wyszukiwanie” (dopracowywanie obiecującej odpowiedzi) i „szersze wyszukiwanie” (generowanie zupełnie nowych rozwiązań). AB-MCTS łączy te podejścia, pozwalając systemowi na udoskonalanie dobrych pomysłów, ale także na zmianę kierunku, gdy napotka on na ślepy zaułek lub odkryje nową, obiecującą ścieżkę.

System wykorzystuje algorytm Monte Carlo Tree Search, znany z zastosowania w AlphaGo firmy DeepMind. Na każdym etapie AB-MCTS, bazując na modelach probabilistycznych, decyduje, czy bardziej strategiczne jest dopracowanie istniejącego rozwiązania, czy generowanie nowego. Multi-LLM AB-MCTS idzie o krok dalej, decydując nie tylko „co” zrobić (udoskonalić czy wygenerować), ale także „który” LLM powinien to zrobić. System początkowo równomiernie angażuje dostępne modele, a w miarę postępów uczy się, które z nich są najbardziej efektywne, alokując im większą część obciążenia pracą.

Testowanie „dream teamu” AI

System Multi-LLM AB-MCTS przetestowano na trudnym benchmarku ARC-AGI-2, stworzonym do oceny ludzkiej zdolności do rozwiązywania problemów wizualnych. Użyto kombinacji czołowych modeli, takich jak GPT-4 mini (o4-mini), Gemini 2.5 Pro i DeepSeek-R1. Zespół modeli był w stanie znaleźć prawidłowe rozwiązania dla ponad 30% ze 120 problemów testowych, znacznie przewyższając wyniki pojedynczych modeli.

Co więcej, zaobserwowano przypadki, w których modele rozwiązywały problemy wcześniej niemożliwe do pokonania dla któregokolwiek z nich. W jednym przypadku, błędna odpowiedź wygenerowana przez model GPT-4 mini, została przekazana do DeepSeek-R1 i Gemini-2.5 Pro. Modele te, wspólnie analizując błąd, skorygowały go i wygenerowały właściwą odpowiedź. „To pokazuje, że Multi-LLM AB-MCTS może elastycznie łączyć modele graniczne, aby rozwiązywać wcześniej nierozwiązywalne problemy, przesuwając granice tego, co można osiągnąć, wykorzystując LLM-y jako zbiorową inteligencję” – komentują badacze. Akiba zauważa również, że „łącząc modele, możliwe jest osiągnięcie najlepszych cech obu światów: potężnych zdolności logicznych i silnego ugruntowania. Ponieważ halucynacje są poważnym problemem w kontekście biznesowym, to podejście może być cenne w ich redukowaniu”.

Od badań do praktycznych zastosowań

Sakana AI udostępniło swój algorytm jako otwarte oprogramowanie o nazwie TreeQuest pod licencją Apache 2.0. TreeQuest oferuje elastyczne API, pozwalając na implementację Multi-LLM AB-MCTS w różnych zadaniach, z możliwością dostosowania punktacji i logiki. „Jesteśmy na wczesnym etapie zastosowań AB-MCTS w konkretnych problemach biznesowych, ale nasze badania ujawniają znaczny potencjał w kilku obszarach” – twierdzi Akiba.

Poza benchmarkiem ARC-AGI-2, zespół z powodzeniem zastosował AB-MCTS w zadaniach takich jak złożone kodowanie algorytmiczne i poprawa dokładności modeli uczenia maszynowego. „AB-MCTS mógłby być również bardzo skuteczny w problemach wymagających iteracyjnych prób i błędów, takich jak optymalizacja metryk wydajności istniejącego oprogramowania” – dodaje Akiba. „Na przykład, mógłby zostać wykorzystany do automatycznego znajdowania sposobów na poprawę opóźnienia odpowiedzi serwisu internetowego”.

Udostępnienie otwartego narzędzia stwarza nowe możliwości dla rozwoju potężniejszych i bardziej niezawodnych aplikacji AI w przedsiębiorstwach, otwierając drogę do systemów, które uczą się i dostosowują w sposób dotychczas niedostępny dla pojedynczych modeli.