XGBoost 3.0 i NVIDIA Grace Hopper: Era terabajtowych zbiorów danych na jednym układzie

W świecie analityki danych i sztucznej inteligencji, skuteczność modeli uczenia maszynowego często zależy od ilości i jakości dostępnych danych treningowych. Tradycyjnie, przetwarzanie ogromnych, terabajtowych zbiorów danych wymagało złożonych klastrów obliczeniowych i skomplikowanych architektur. NVIDIA, we współpracy z twórcami XGBoost, wprowadza jednak rozwiązanie, które ma szansę znacząco uprościć ten proces.

XGBoost 3.0: Złamanie bariery pamięci

Najnowsza wersja XGBoost, oznaczona numerem 3.0, wnosi innowację w postaci External-Memory Quantile DMatrix. To klucz do skalowania treningu gradientowych drzew decyzyjnych (GBDT) z poziomu gigabajtów do nawet terabajta, wykorzystując pojedynczy układ NVIDIA GH200 Grace Hopper Superchip. Dotychczasowym ograniczeniem dla treningu na GPU była dostępna pamięć graficzna, co wymuszało albo redukcję rozmiaru danych, albo implementację rozbudowanych, wielowęzłowych systemów. Nowa funkcjonalność pozwala na ominięcie tego problemu.

Sercem tego osiągnięcia jest architektura pamięci spójnej układu Grace Hopper i superszybka przepustowość NVLink-C2C, wynosząca 900GB/s. Dzięki temu, skompresowane, wstępnie spakowane dane mogą być przesyłane bezpośrednio z pamięci RAM hosta do GPU. Eliminuje to wąskie gardła i ograniczenia pamięciowe, które w przeszłości wymagały serwerów z ogromnymi zasobami RAM lub rozległych klastrów GPU.

Efektywność w skali przedsiębiorstwa

Potencjał XGBoost 3.0 widoczny jest już w praktycznych zastosowaniach. Królewski Bank Kanady (RBC) odnotował nawet szesnastokrotny wzrost szybkości i 94-procentową redukcję całkowitego kosztu posiadania (TCO) dla treningu modeli po przeniesieniu swoich analitycznych potoków do XGBoost z akceleracją GPU. Taka poprawa efektywności ma kluczowe znaczenie w środowiskach, gdzie dynamiczne dostosowywanie modeli i szybko zmieniające się wolumeny danych to codzienność. Instytucje finansowe i duże przedsiębiorstwa mogą teraz szybciej optymalizować funkcje i skalować swoje operacje w miarę wzrostu danych.

Innowacje w podejściu do danych zewnętrznych:

• External-Memory Quantile DMatrix: Umożliwia wstępne grupowanie każdej cechy w kubełki kwantylowe, utrzymując dane skompresowane w pamięci RAM hosta i strumieniując je tylko w razie potrzeby. Metoda ta zachowuje dokładność, jednocześnie znacząco redukując obciążenie pamięci GPU.
• Skalowalność na pojedynczym układzie: Jeden superchip GH200, wyposażony w 80GB HBM3 GPU RAM oraz 480GB LPDDR5X system RAM, jest teraz w stanie przetworzyć pełny zbiór danych o rozmiarze terabajta. Zadania te niegdyś wymagałyby rozbudowanych klastrów wieloprocesorowych.
• Prostsza integracja: Dla zespołów naukowców danych korzystających z ekosystemu RAPIDS, aktywacja nowej metody jest intuicyjna i nie wymaga złożonych zmian w kodzie, sprowadzając się praktycznie do podmiany komponentu.

Praktyczne aspekty implementacji

Aby w pełni wykorzystać możliwości nowej wersji XGBoost, NVIDIA zaleca kilka praktyk. W przypadku konstrukcji drzew decyzyjnych, optymalne działanie z pamięcią zewnętrzną uzyskuje się poprzez użycie grow_policy='depthwise'. Ponadto, do pełnego wsparcia Grace Hoppera niezbędne jest środowisko z CUDA 12.8+ oraz sterownik obsługujący HMM. Ważne jest również zrozumienie, że głównym czynnikiem limitującym skalę jest liczba wierszy (etykiet) w zbiorze danych, podczas gdy szersze lub wyższe tabele wykazują porównywalną wydajność na GPU.

Warto również wspomnieć o innych udoskonaleniach w XGBoost 3.0, takich jak eksperymentalne wsparcie dla rozproszonej pamięci zewnętrznej w klastrach GPU, zmniejszone wymagania pamięciowe i szybszy czas inicjalizacji, szczególnie dla gęstych danych. Dodano także wsparcie dla cech kategorialnych, regresji kwantylowej i wyjaśnialności SHAP w trybie pamięci zewnętrznej.

Wprowadzenie terabajtowego treningu GBDT na pojedynczym układzie ma potencjał zdemokratyzowania dostępu do zaawansowanego uczenia maszynowego zarówno dla sektora finansowego, jak i innych przedsiębiorstw. Oznacza to szybszą iterację modeli, niższe koszty infrastruktury i ogólnie mniejszą złożoność IT. XGBoost 3.0 i NVIDIA Grace Hopper to bez wątpienia znaczący krok naprzód w skalowalnym i akcelerowanym uczeniu maszynowym.