Baidu prezentuje ERNIE Evolve. Autonomiczny system badawczy pobił rekordy NanoGPT i przyspieszył modele w produkcji
Koncepcja rekurencyjnego samoulepszania się sztucznej inteligencji (RSI) powoli przestaje być wyłącznie domeną teoretycznych rozważań. W raporcie technicznym poświęconym ERNIE Evolve inżynierowie Baidu opisali autonomiczny system badawczy, który optymalizuje kod pod kątem zadanego celu i kryteriów oceny.
Zamiast traktować generatory kodu jako proste narzędzia asystujące programistom, Baidu zamknęło je w wielopoziomowej pętli decyzyjnej. ERNIE Evolve operuje w dwóch zagnieżdżonych cyklach. Zewnętrzny, zarządzany przez komponent Director, analizuje dotychczasową wiedzę, przegląda literaturę oraz bazę poprzednich prób i wyznacza ogólne wektory poszukiwań. Następnie zadania trafiają do równoległych torów badawczych, gdzie pętla wewnętrzna testuje konkretne hipotezy. Agenci AI modyfikują tam kod w odizolowanych środowiskach, po czym zgłaszają go do weryfikacji.
Niezależna ocena utrudnia obchodzenie testów
Kluczowym elementem architektury jest mechanizm obrony przed tzw. reward hackingiem, czyli sytuacją, w której model sztucznie zawyża metryki, wykorzystując luki w testach. W ERNIE Evolve moduł oceny (Evaluator) jest stałym programem testowym umieszczonym całkowicie poza modyfikowanym repozytorium i niewidocznym dla agentów wykonawczych. Zmiany przechodzą podwójną selekcję: programistyczny test wydajności musi wykazać przyrost przekraczający próg błędu pomiarowego, a osobny agent weryfikujący (Reviewer) sprawdza, czy kod realizuje właściwy cel i nie próbuje obejść kryteriów oceny.
Efektywność tego podejścia przetestowano najpierw na powszechnie znanych, publicznych benchmarkach optymalizacyjnych:
- NanoChat AutoResearch: w ramach pięciominutowego budżetu treningowego na pojedynczym GPU system osiągnął wynik 0,8763 bitów na bajt (BPB), wyprzedzając dotychczasowy rekord społeczności (0,8878). Aby to osiągnąć, agenci wprowadzili m.in. dwie równoległe gałęzie predykcyjne (oparte na n-gramach i wyszukiwaniu dokumentów) oraz dedykowany kernel Tritona łączący operacje softcap i cross-entropy.
- NanoGPT Speedrun: na ścieżce Track 1 (klaster 8× H100) ERNIE Evolve zredukował czas dojścia do założonej straty z dotychczasowego rekordu 39,9 s do 38,9 s. Na ścieżce Track 3 zredukował liczbę kroków treningowych z 2690 do 2590 dzięki dekompozycji wag i ekstrapolacji w stylu Nesterowa.
- SOL-ExecBench: w teście obejmującym 235 problemów optymalizacji kerneli GPU system uzyskał wynik 0,819 SOL, zbliżając się do rekordu tabeli (0,827).
Test przy optymalizacji modelu ERNIE-5.5-Flash
Po publicznych benchmarkach Baidu sprawdziło system również w bieżących pracach nad optymalizacją inferencji. ERNIE Evolve został wdrożony do optymalizacji inferencji rozwijanego właśnie modelu ERNIE-5.5-Flash.
Testy objęły zarówno układy GPU, jak i procesory akceleracyjne Kunlunxin P800. W przypadku układów Kunlunxin system w czterech rundach badawczych zdołał podnieść prędkość generowania tekstu do 623,6% pierwotnej wartości bazowej – głównie dzięki wdrożeniu dekodowania spekulatywnego, fuzji kerneli oraz eliminacji wąskich gardeł po stronie hosta. Z kolei na układach GPU przepustowość deterministycznej inferencji (kluczowej w procesie trenowania z wykorzystaniem uczenia przez wzmacnianie) wzrosła o 33,7% w zaledwie trzy dni, a prędkość dekodowania pojedynczych zapytań poprawiła się o 14,9%.
Chiński koncern udostępnił w serwisie GitHub logi eksperymentów oraz zoptymalizowany kod referencyjny, jednak sam silnik ERNIE Evolve pozostaje systemem zamkniętym. Doświadczenie Baidu pokazuje jednak, że rywalizacja w segmencie AI przenosi się z ręcznego pisania kerneli na budowę autonomicznych fabryk oprogramowania, które same debugują i przyspieszają stos technologiczny.
