Google AI rewolucjonizuje prognozowanie wydajności systemów przemysłowych dzięki nowemu modelowi językowemu RLM

Google AI przedstawiło przełomowe rozwiązanie w dziedzinie prognozowania wydajności złożonych systemów przemysłowych. Nowy model językowy regresji (RLM) eliminuje dotychczasową potrzebę kosztownego i żmudnego inżynierowania cech (ang. feature engineering) oraz sztywnych formatów danych tabelarycznych, otwierając drogę do szybszej i bardziej efektywnej optymalizacji systemów.

Tradycyjne metody przewidywania wydajności systemów, takich jak klastry obliczeniowe Borg wykorzystywane przez Google, opierają się na ręcznym tworzeniu cech specyficznych dla danej domeny i reprezentowaniu danych w postaci tabel. Takie podejście jest trudne w skalowaniu i adaptacji, szczególnie w obliczu różnorodnych danych wejściowych, takich jak logi systemowe, pliki konfiguracyjne, zróżnicowany sprzęt czy zagnieżdżone dane zadań. W rezultacie, procesy optymalizacji i symulacji stają się kosztowne, powolne i podatne na błędy, zwłaszcza przy wprowadzaniu nowych typów obciążeń lub sprzętu.

Regresja jako generowanie tekstu

RLM rewolucjonizuje podejście do regresji, przekształcając ją w zadanie generowania tekstu. Dane o stanie systemu (konfiguracja, logi, profile obciążenia, opisy sprzętu) są serializowane do ustrukturyzowanych formatów tekstowych, takich jak YAML lub JSON, i wykorzystywane jako prompt wejściowy. Model regresji generuje następnie tekstową odpowiedź, zawierającą wartość prognozowaną, np. wskaźniki wydajności (miliony instrukcji na sekundę na jednostkę obliczeniową Google – MIPS per GCU).

Kluczowe zalety tego podejścia to:

• Brak konieczności tworzenia cech tabelarycznych: Eliminuje to potrzebę definiowania cech, normalizacji i sztywnego kodowania.
• Uniwersalne zastosowanie: Stan systemu może być reprezentowany jako ciąg znaków, co umożliwia obsługę heterogenicznych, zagnieżdżonych i dynamicznie zmieniających się danych.

Architektura i trening modelu

RLM wykorzystuje stosunkowo mały model językowy (60 milionów parametrów) z architekturą encoder-decoder, trenowany na reprezentacjach tekstowych danych wejściowych i wyjściowych. Model nie jest wstępnie trenowany na ogólnych danych językowych – trening rozpoczyna się od losowej inicjalizacji, koncentrując się bezpośrednio na korelacji stanu systemu z wynikami liczbowymi.

Istotne elementy techniczne to:

• Customowa tokenizacja numeryczna: Efektywne kodowanie wartości zmiennoprzecinkowych (np. P10 mantissa-sign-exponent encoding) w słowniku modelu.
• Adaptacja w oparciu o niewielką liczbę przykładów: Szybkie dostrajanie wytrenowanych modeli RLM do nowych zadań przy użyciu zaledwie 500 przykładów, co umożliwia adaptację do nowych konfiguracji klastrów lub danych z kolejnych miesięcy w ciągu kilku godzin, a nie tygodni.
• Skalowanie długości sekwencji: Przetwarzanie bardzo długich tekstów wejściowych (tysiące tokenów), co gwarantuje uwzględnienie złożonych stanów systemu.

Wydajność: wyniki w klastrze Borg Google

Testy w klastrze Borg wykazały, że RLM osiąga korelację rang Spearmana do 0.99 (średnio 0.9) między przewidywanym a rzeczywistym MIPS per GCU, z błędem średniokwadratowym 100 razy niższym niż w przypadku modeli tabelarycznych. Modele potrafią oszacować niepewność predykcji poprzez próbkowanie wielu wyników dla każdego wejścia, co wspiera probabilistyczne symulacje systemowe i optymalizację bayesowską.

RLM, w przeciwieństwie do większości regresorów typu „czarnej skrzynki”, uwzględnia zarówno niepewność aleatoryczną (wynikającą z natury systemu), jak i epistemiczną (wynikającą z ograniczonej wiedzy o systemie). Zdolność do modelowania gęstości prawdopodobieństwa sugeruje możliwość wykorzystania RLM do budowy uniwersalnych cyfrowych bliźniaków (ang. digital twins) dla systemów na dużą skalę, przyspieszając optymalizację infrastruktury i pętle sprzężenia zwrotnego w czasie rzeczywistym.

Zastosowania

• Chmury i klastry obliczeniowe: Bezpośrednie przewidywanie wydajności i optymalizacja dużej, dynamicznej infrastruktury.
• Produkcja i IoT: Uniwersalne symulatory do przewidywania wyników w różnorodnych procesach przemysłowych.
• Eksperymenty naukowe: Modelowanie end-to-end, w którym stany wejściowe są złożone, opisywane tekstowo i zróżnicowane numerycznie.

Nowe podejście – traktowanie regresji jako modelowania języka – usuwa długotrwałe bariery w symulacji systemów, przyspiesza adaptację do nowych środowisk i wspiera przewidywanie z uwzględnieniem niepewności, co jest kluczowe dla nowej generacji przemysłowej sztucznej inteligencji.