Fizyk teoretyczny rzuca wyzwanie czarnej skrzynce uczenia maszynowego

Od autonomicznych pojazdów po systemy rozpoznawania twarzy, współczesne życie w coraz większym stopniu opiera się na uczeniu maszynowym – formie sztucznej inteligencji, która uczy się na podstawie danych bez jawnego programowania. Pomimo wszechobecności tej technologii w społeczeństwie, dopiero zaczynamy rozumieć mechanizmy, które nią rządzą.

Zhengkang Zhang, profesor na Wydziale Fizyki i Astronomii Uniwersytetu Utah, w swoim najnowszym badaniu pokazuje, jak fizycy mogą odegrać istotną rolę w rozwikłaniu tych zagadek. „Ludzie zwykli mawiać, że uczenie maszynowe to czarna skrzynka – wprowadzasz mnóstwo danych, a w pewnym momencie ona rozumuje, mówi i podejmuje decyzje jak człowiek. Wydaje się to magiczne, ponieważ tak naprawdę nie wiemy, jak to działa” – wyjaśnia Zhang. „Teraz, gdy używamy AI w wielu kluczowych sektorach społeczeństwa, musimy zrozumieć, co tak naprawdę robią nasze modele uczenia maszynowego – dlaczego coś działa lub dlaczego coś nie działa.”

Jako fizyk teoretyczny, Zhang analizuje świat, badając zachowanie najmniejszych, fundamentalnych składników materii. Od kilku lat wykorzystuje narzędzia ze swojej dziedziny, aby lepiej zrozumieć niezwykle złożone modele uczenia maszynowego.

Skalowanie w górę przy jednoczesnym zmniejszaniu kosztów

Tradycyjny sposób programowania komputera polega na tworzeniu szczegółowych instrukcji wykonania zadania. Załóżmy, że potrzebujesz oprogramowania, które potrafi wykrywać nieprawidłowości na skanach tomografii komputerowej. Programista musiałby napisać protokoły krok po kroku dla niezliczonych potencjalnych scenariuszy. W odróżnieniu od tego modelu, uczenie maszynowe opiera się na samouczeniu się modelu. Programista dostarcza jedynie odpowiednie zbiory danych – teksty, liczby, zdjęcia, transakcje, obrazy medyczne – i pozwala modelowi samodzielnie znajdować wzorce lub dokonywać przewidywań. W trakcie tego procesu człowiek może dostosowywać parametry, aby uzyskać dokładniejsze wyniki, nie znając sposobu, w jaki model wykorzystuje dane wejściowe do generowania wyjścia.

Uczenie maszynowe jest energochłonne i bardzo kosztowne. Aby zmaksymalizować zyski, modele są trenowane na mniejszych zbiorach danych, zanim zostaną przeskalowane do scenariuszy rzeczywistych z znacznie większymi wolumenami danych. „Chcemy być w stanie przewidzieć, o ile lepiej model będzie działał w większej skali. Jeśli podwoisz rozmiar modelu lub podwoisz rozmiar zbioru danych, czy model stanie się dwa razy lepszy? Cztery razy lepszy?” – pyta Zhang.

Narzędzia fizyka

Model uczenia maszynowego wygląda prosto: dane wejściowe –> czarna skrzynka obliczeń –> dane wyjściowe, które są funkcją danych wejściowych. Czarna skrzynka zawiera sieć neuronową, czyli zbiór prostych operacji połączonych w sieć w celu przybliżenia skomplikowanych funkcji. Aby zoptymalizować wydajność sieci, programiści tradycyjnie polegają na próbach i błędach, dostrajaniu i ponownym trenowaniu sieci, co generuje wysokie koszty.

„Dzięki wykształceniu fizyka, chciałbym lepiej zrozumieć, co się naprawdę dzieje, aby uniknąć polegania na próbach i błędach” – mówi Zhang. „Jakie właściwości modelu uczenia maszynowego dają mu zdolność do uczenia się i robienia rzeczy, których od niego oczekujemy?”

W artykule opublikowanym w czasopiśmie „Machine Learning: Science and Technology”, Zhang rozwiązał problem praw skalowania proponowanego modelu, które opisują jego zachowanie w coraz większych skalach. Nie jest to łatwe – obliczenia wymagają zsumowania nieskończonej liczby elementów. Zhang zastosował metodę, której fizycy używają do śledzenia setek tysięcy elementów, zwaną diagramami Feynmana. Richard Feynman wynalazł tę technikę w latach 40. XX wieku, aby poradzić sobie z beznadziejnie skomplikowanymi obliczeniami cząstek elementarnych w świecie kwantowym. Zamiast zapisywać równania algebraiczne, Feynman rysował proste diagramy – każda linia i wierzchołek na diagramie reprezentuje wartość.

„O wiele łatwiej jest to zrozumieć naszym mózgom, a także łatwiej śledzić, jakie rodzaje elementów wchodzą w obliczenia” – zauważa Zhang.

Zhang wykorzystał diagramy Feynmana do rozwiązania modelu przedstawionego w publikacji z 2022 roku. W tamtym artykule fizycy badali swój model w określonej granicy. Zhang był w stanie rozwiązać model poza tą granicą, uzyskując nowe i dokładniejsze prawa skalowania, które regulują jego zachowanie.

W miarę jak społeczeństwo pędzi naprzód w kierunku AI, wielu badaczy dokłada starań, aby narzędzia te były wykorzystywane w sposób bezpieczny. Zhang uważa, że fizycy mogą dołączyć do inżynierów, informatyków i innych specjalistów pracujących nad odpowiedzialnym wykorzystaniem AI. „My, ludzie, budujemy maszyny, które już nas kontrolują – algorytmy YouTube, które polecają filmy, wciągają każdego w swój własny mały zakątek i wpływają na nasze zachowanie” – ostrzega Zhang. „To jest niebezpieczeństwo tego, jak AI zmieni ludzkość – nie chodzi o roboty kolonizujące i zniewalające ludzi. Chodzi o to, że my, ludzie, budujemy maszyny, których nie rozumiemy, a nasze życie jest już głęboko kształtowane przez te maszyny.”