Sakana AI tworzy samodoskonalącą się AI, która przepisuje własny kod

Nowy system AI sam się ulepsza

Japoński startup Sakana AI, we współpracy z naukowcami z University of British Columbia, stworzył nowatorski system sztucznej inteligencji o nazwie Darwin-Gödel Machine (DGM). Jego cechą wyróżniającą jest zdolność do samodzielnego doskonalenia poprzez modyfikowanie własnego kodu źródłowego. Inspiracją dla DGM były mechanizmy ewolucji biologicznej i proces odkryć naukowych. System ten, zamiast dążyć do realizacji z góry określonych celów, wykorzystuje otwartą eksplorację możliwości i ciągłe modyfikacje, aby generować innowacyjne rozwiązania.

Działanie DGM opiera się na procesie iteracyjnym. Agent AI przepisuje swój własny kod w języku Python, tworząc nowe wersje samego siebie – każda z nich różni się narzędziami, strategiami działania lub metodami pracy. Tak powstałe warianty są następnie poddawane ewaluacji w kilku etapach, z wykorzystaniem specjalistycznych testów porównawczych, takich jak SWE-bench czy Polyglot. Służą one do oceny umiejętności agentów w rozwiązywaniu realnych zadań programistycznych. Najlepiej radzący sobie agenci są archiwizowane, stając się podstawą dla kolejnych iteracji procesu.

Takie podejście, określane mianem „otwartej eksploracji”, tworzy coś na kształt ewolucyjnego drzewa genealogicznego. Pozwala to uniknąć utknięcia w lokalnych optimach, ponieważ system ma możliwość eksplorowania mniej obiecujących wariantów, które w przyszłości mogą okazać się kluczowe.

Znaczący wzrost wydajności dzięki samomodyfikacji

Przeprowadzone testy wykazały, że DGM osiągnął znaczący wzrost wydajności. W teście SWE-bench, oceniającym zdolność systemów AI do rozwiązywania rzeczywistych problemów z repozytorium GitHub z wykorzystaniem języka Python, wynik DGM wzrósł z 20 do 50 procent. Z kolei w wielojęzycznym teście Polyglot, mierzącym efektywność w różnych językach programowania, DGM poprawił swój wynik z 14,2 do 30,7 procent, przewyższając tym samym niektóre rozwiązania open-source, takie jak Aider. Należy jednak zaznaczyć, że najlepszy wynik DGM w SWE-bench (50%) nadal ustępuje nieznacznie najlepszemu agentowi open-source o nazwie OpenHands + CodeAct v2.1 (51%). Niektóre systemy komercyjne radzą sobie jeszcze lepiej.

W trakcie procesu samodoskonalenia, system DGM wykształcił szereg kluczowych funkcji, takich jak nowe narzędzia do edycji kodu, etap weryfikacji poprawek, umiejętność oceny wielu propozycji rozwiązań oraz mechanizm zapamiętywania błędów, który zapobiega ich powtarzaniu w przyszłości. Co istotne, udoskonalenia te nie tylko poprawiły działanie bazowego modelu Claude 3.5 Sonnet, ale również przełożyły się na lepsze wyniki innych modeli, takich jak Claude 3.7 i o3-mini. Podobne efekty zaobserwowano przy przejściu na inne języki programowania, w tym Rust, C++ i Go.

Bezpieczeństwo i koszty

Zdolność agentów do przepisywania własnego kodu wiąże się z pewnym ryzykiem. Rekurencyjne modyfikacje mogą prowadzić do nieprzewidywalnych zachowań. Aby temu zapobiec, DGM wykorzystuje mechanizmy izolacji (sandboxing), ograniczenia dotyczące modyfikacji oraz pełną identyfikowalność każdej zmiany.

Twórcy DGM postrzegają pętlę samomodyfikacji jako sposób na poprawę bezpieczeństwa. W jednym z testów system nauczył się wykrywać halucynacje podczas korzystania z zewnętrznych narzędzi i opracował własne środki zaradcze, takie jak oznaczanie sytuacji, w których agent fałszywie twierdził, że uruchomił testy jednostkowe. Zdarzały się jednak również przypadki, w których system celowo usuwał znaczniki wykrywania halucynacji, co stanowi przykład „hakowania celu” – manipulowania ewaluacją bez faktycznego rozwiązywania problemu.

Niestety, uruchomienie DGM wiąże się z wysokimi kosztami. Pojedyncza sesja testowa, obejmująca 80 iteracji w SWE-bench, trwała dwa tygodnie i generowała koszty API rzędu 22 000 dolarów. Wynika to głównie ze struktury pętli, etapowej ewaluacji i równoległego generowania nowych agentów w każdym cyklu. Dopóki modele bazowe nie staną się znacznie bardziej wydajne, praktyczne zastosowania DGM pozostaną ograniczone.

Przyszłość samodoskonalącej się AI

Obecnie samomodyfikacje systemu koncentrują się głównie na narzędziach i przepływach pracy. Bardziej dogłębne zmiany, takie jak modyfikacje procesu uczenia się lub samego modelu, są wciąż w fazie rozwoju. Twórcy Sakana AI mają nadzieję, że z czasem DGM stanie się wzorcem dla bardziej ogólnej, samodoskonalącej się sztucznej inteligencji. Kod systemu jest dostępny na platformie GitHub.

Sakana AI bada również inne koncepcje inspirowane naturą. W jednym z eksperymentów firma przedstawiła model, który „myśli” w sekwencjach czasowych, podobnie do sposobu, w jaki przetwarza informacje ludzki mózg.