Jak zmniejszyć zużycie energii przez AI o 90%: konkretne strategie z raportu UNESCO

Rozwój generatywnej sztucznej inteligencji, napędzany przez błyskawicznie rosnącą popularność modeli takich jak GPT-4, rodzi coraz większe obawy dotyczące zużycia zasobów. Centra danych, niezbędne do trenowania i działania tych zaawansowanych systemów, pochłaniają ogromne ilości energii elektrycznej i wody. Odpowiedzią na to wyzwanie jest nowy raport opracowany przez naukowców z University College London (UCL) we współpracy z UNESCO. Dokument, który zostanie zaprezentowany na szczycie „AI for Good Global Summit” w Genewie, pokazuje, że istnieją już sprawdzone metody, które mogą radykalnie zredukować ślad energetyczny AI, bez uszczerbku dla jej wydajności.

Mniejsze modele, krótsze odpowiedzi: droga do efektywności

Kluczowe wnioski z badań UCL wskazują na potencjalne oszczędności rzędu 90% poprzez wdrożenie prostych, lecz skutecznych zmian w sposobie konfiguracji i użytkowania modeli AI. Wśród nich wymienia się kwantyzację, czyli zaokrąglanie liczb używanych w wewnętrznych obliczeniach, skracanie instrukcji użytkownika oraz odpowiedzi generowanych przez AI, a także wykorzystywanie mniejszych, wyspecjalizowanych modeli zamiast dużych, wielofunkcyjnych systemów.

Badacze z UCL Computer Science przeprowadzili serię eksperymentów na otwartym modelu LLaMA 3.1 8B firmy Meta. Wybór tego modelu nie był przypadkowy – jego otwartość pozwoliła na pełną modyfikację i testowanie różnych technik optymalizacyjnych, co jest niemożliwe w przypadku zamkniętych rozwiązań, takich jak GPT-4.

Kwantyzacja: precyzja bez nadmiaru

Pierwszy eksperyment skupiał się na ocenie wpływu kwantyzacji na zużycie energii i dokładność modelu LLaMA 3.1 8B w typowych zadaniach, takich jak streszczanie tekstów, tłumaczenie języków czy odpowiadanie na pytania ogólne. Kwantyzacja, polegająca na redukcji liczby miejsc dziesiętnych w obliczeniach, doprowadziła do spadku zużycia energii aż o 44%, przy jednoczesnym zachowaniu co najmniej 97% pierwotnej dokładności. Profesor Ivana Drobnjak z UCL podkreśla, że jest to rezultat uproszczenia procesu obliczeniowego, co analogicznie do obliczeń arytmetycznych, pozwala na szybsze i mniej zasobochłonne uzyskanie wyników.

Siła specjalizacji: mniejsze modele lepsze dla konkretnych zadań

Zespół badawczy porównał również efektywność LLaMA 3.1 8B z mniejszymi modelami AI, specjalizującymi się w konkretnych zadaniach. Wyniki były zdumiewające: małe modele zużywały 15-krotnie mniej energii do streszczania, 35-krotnie mniej do tłumaczenia i aż 50-krotnie mniej do odpowiadania na pytania. Co więcej, ich dokładność była porównywalna lub nawet nieco wyższa niż w przypadku większego modelu – od 2% do 4% lepsza w poszczególnych zadaniach.

Długość ma znaczenie: optymalizacja komunikatów

Drugi eksperyment badał wpływ długości promptów (instrukcji użytkownika) i odpowiedzi generowanych przez AI na zużycie energii. Analizując 1000 scenariuszy, naukowcy odkryli, że skrócenie odpowiedzi modelu o połowę (z 400 do 200 słów) redukowało zużycie energii o 54%. Z kolei skrócenie promptu o połowę skutkowało 5% oszczędnością. To pokazuje, że nawet niewielkie zmiany w interakcji z modelem mogą przynieść znaczące korzyści energetyczne.

Potencjał globalnych oszczędności

Autorzy raportu oszacowali globalny wpływ tych optymalizacji, bazując na codziennej liczbie zapytań do popularnych serwisów AI, takich jak ChatGPT. Stwierdzili, że połączenie kwantyzacji ze skróceniem promptów i odpowiedzi ze 300 do 150 słów mogłoby zredukować zużycie energii o 75%. W skali jednego dnia oznaczałoby to oszczędności energii równe zapotrzebowaniu na prąd dla około 30 000 brytyjskich gospodarstw domowych. W przypadku zadań powtarzalnych, takich jak tłumaczenie czy streszczanie, największe korzyści można osiągnąć poprzez zastosowanie małych, wyspecjalizowanych modeli wraz ze skróconymi promptami i odpowiedziami, co pozwoli na oszczędności energii przekraczające 90% (równowartość zasilania 34 000 brytyjskich gospodarstw domowych dziennie).

Hristijan Bosilkovski, współautor raportu, zauważa, że duże, ogólnego przeznaczenia modele AI nadal będą miały swoje zastosowanie w złożonych zadaniach badawczo-rozwojowych. Jednak w przypadku powtarzalnych, specyficznych działań, przejście na mniejsze, wyspecjalizowane rozwiązania przyniesie największe korzyści energetyczne. To jak używanie młotka do wbijania gwoździa, zamiast młota kowalskiego.

Przyszłość AI: efektywność zamiast nadmiaru

Autorzy raportu podkreślają, że wraz ze wzrostem konkurencji na rynku generatywnych modeli AI, firmy będą zmuszone do optymalizowania swoich rozwiązań. Leona Verdadero z UNESCO porównuje często nadmierne wykorzystywanie zbyt dużych modeli AI do podlewania rośliny domowej wężem strażackim. Podkreśla, że dopasowanie odpowiedniego rozmiaru modelu do zadania jest nie tylko efektywniejsze, ale wręcz kluczowe dla zrównoważonego rozwoju i dostępności rewolucji AI.

Dr. Maria Perez Ortiz z UCL dodaje, że przyszłość generatywnych modeli AI leży w efektywności, nie nadmiarze. Dążenie do rozwiązywania problemów za pomocą inteligentniejszych modeli, a niekoniecznie poprzez większe zużycie zasobów, powinno być priorytetem. Proponowane strategie nie tylko redukują zużycie energii i poprawiają szybkość modelu, ale także wymagają znacznie mniejszej mocy obliczeniowej. Co ważne, są one łatwo dostępne, a niektóre są już stosowane w nowej generacji modeli AI.

Profesor Drobnjak podsumowuje, używając metafor: przyszłością zasobooszczędnej AI jest albo „zbiór mózgów” – wiele małych, wyspecjalizowanych modeli komunikujących się ze sobą, co jest efektywne, ale może być fragmentaryczne. Alternatywą, i wizją, która budzi największy entuzjazm, jest pojedynczy, złożony mózg z wyraźnymi regionami, ściśle połączony i dzielący jedną pamięć, ale zdolny do aktywowania tylko tych obwodów, które są niezbędne. To przeniesienie efektywności precyzyjnie dostrojonej kory mózgowej do generatywnej AI: inteligentniejszej, bardziej oszczędnej i znacznie mniej zasobochłonnej.