HtFLlib: Nowe narzędzie do oceny rozproszonego uczenia heterogenicznego

Współczesne wyzwania związane z rozwojem sztucznej inteligencji wymagają innowacyjnych rozwiązań, zwłaszcza tam, gdzie dostęp do danych jest ograniczony. Klasyczne podejście do uczenia rozproszonego, choć cenne, nie uwzględnia różnorodności architektur modeli, które są naturalnym efektem unikalnych potrzeb poszczególnych klientów. Co więcej, chęć dzielenia się lokalnie wytrenowanymi modelami bywa utrudniona ze względu na własność intelektualną. W odpowiedzi na te problemy rozwinęło się heterogeniczne uczenie rozproszone (HtFL).

Istniejące benchmarki FL koncentrują się na heterogeniczności danych, zakładając jednocześnie jednorodność modeli klientów. To ignoruje realia, w których klienci projektują architektury modeli dopasowane do swoich specyficznych wymagań. Metody HtFL można podzielić na trzy główne kategorie: współdzielenie części parametrów (np. LG-FedAvg, FedGen, FedGH), destylację wzajemną (np. FML, FedKD, FedMRL) oraz współdzielenie prototypów. Częściowe współdzielenie parametrów pozwala na transfer wiedzy między heterogenicznymi ekstraktorami cech, przy założeniu jednorodności warstw klasyfikujących. Destylacja wzajemna opiera się na trenowaniu i współdzieleniu małych modeli pomocniczych. Z kolei metody oparte na współdzieleniu prototypów przekazują lekkie, klasowe prototypy jako wiedzę globalną, kierując lokalny trening. Mimo istnienia tych metod, ich spójne działanie w różnorodnych scenariuszach pozostawało dotychczas niewystarczająco zbadane.

Przełom w tej dziedzinie nastąpił dzięki współpracy naukowców z chińskich i brytyjskich uniwersytetów: Shanghai Jiao Tong University, Beihang University, Chongqing University, Tongji University, Hong Kong Polytechnic University oraz The Queen’s University of Belfast. Zespoły te zaprezentowały HtFLlib – pierwszą bibliotekę umożliwiającą łatwą i rozszerzalną integrację wielu zbiorów danych oraz scenariuszy heterogeniczności modeli w środowisku HtFL.

HtFLlib wyróżnia się kompleksową strukturą, oferując:

• integrację 12 zbiorów danych obejmujących różnorodne domeny, modalności i scenariusze heterogeniczności danych;
• obsługę 40 architektur modeli, od małych po duże, w trzech modalnościach;
• modułową, łatwo rozszerzalną bazę kodu z implementacjami 10 reprezentatywnych metod HtFL;
• systematyczną ocenę uwzględniającą dokładność, konwergencję, koszty obliczeniowe i komunikacyjne.

W zakresie danych biblioteka HtFLlib uwzględnia szczegółowe scenariusze heterogeniczności, podzielone na trzy kategorie: Label Skew (z podkategoriami Patological i Dirichlet), Feature Shift oraz Real-World. Zintegrowano w niej 12 zbiorów danych, takich jak Cifar10, Cifar100, Flowers102, Tiny-ImageNet, KVASIR, COVIDx, DomainNet, Camelyon17, AG News, Shakespeare, HAR oraz PAMAP2. Ta różnorodność podkreśla wszechstronność HtFLlib. Szczególny nacisk położono na dane obrazowe, zwłaszcza w scenariuszach Label Skew, ze względu na ich powszechne zastosowanie. Oceny metod HtFL przeprowadzono dla danych obrazowych, tekstowych i sygnałów sensorycznych.

Analiza wydajności w modalności obrazowej ujawniła, że w większości metod HtFL dokładność spada wraz ze wzrostem heterogeniczności modelu. Metoda FedMRL wyróżniła się dzięki połączeniu pomocniczych modeli globalnych i lokalnych. W przypadku wprowadzenia heterogenicznych klasyfikatorów, które uniemożliwiają zastosowanie metod częściowego współdzielenia parametrów, FedTGP utrzymuje przewagę dzięki adaptacyjnej zdolności do ulepszania prototypów. Eksperymenty z medycznymi zbiorami danych i wstępnie trenowanymi modelami black-box wykazały, że HtFL poprawia jakość modeli w porównaniu do modeli wstępnie trenowanych i osiąga większe usprawnienia niż modele pomocnicze, takie jak FML. W przypadku danych tekstowych, przewaga FedMRL w scenariuszach Label Skew zanika w scenariuszach Real-World, natomiast FedProto i FedTGP wypadają stosunkowo słabiej w porównaniu do zadań obrazowych.

Wprowadzając HtFLlib, badacze wypełnili lukę w benchmarkowaniu HtFL, dostarczając zunifikowane standardy oceny w różnorodnych domenach i scenariuszach. Modułowa i rozszerzalna architektura HtFLlib stanowi szczegółowy punkt odniesienia zarówno dla badań, jak i praktycznych zastosowań HtFL. Co więcej, zdolność biblioteki do wspierania heterogenicznych modeli w uczeniu kooperacyjnym otwiera drogę do przyszłych badań nad wykorzystaniem złożonych, wstępnie trenowanych dużych modeli, systemów typu black-box oraz zróżnicowanych architektur w wielu zadaniach i modalnościach. To znaczący krok w kierunku bardziej elastycznego i efektywnego rozwoju sztucznej inteligencji.