NASA przedstawia Galileo: otwarty model multimodalny dla obserwacji Ziemi

Współczesne wyzwania związane ze zmianami klimatycznymi, zarządzaniem gruntami rolnymi czy monitorowaniem katastrof naturalnych wymagają coraz bardziej zaawansowanych narzędzi analitycznych. Dotychczasowe modele sztucznej inteligencji w zdalnym wykrywaniu były często ograniczone do jednego typu danych lub skali. Odpowiedzią na tę potrzebę ma być Galileo.

Galileo, będący efektem współpracy NASA Harvest, McGill University, Carleton University i innych ośrodków badawczych, to otwarty model fundamentowy. Jego kluczową innowacją jest zdolność do równoczesnego przetwarzania i integracji wielu strumieni danych, takich jak obrazy optyczne, radarowe, dane dotyczące wysokości terenu, klimatu oraz mapy pomocnicze. Dzięki temu model może rozpoznawać zjawiska w szerokim spektrum skali – od mikroobiektów, jak kilkupikselowe łodzie rybackie, po rozległe i wolno zmieniające się cechy, takie jak lodowce.

Architektura i unikalne cechy

Punktem wyjścia dla architektury Galileo jest Vision Transformer (ViT), jednak jego adaptacja wykracza daleko poza standardowe zastosowania. Model skutecznie przetwarza obrazy multispektralne (np. z satelitów Sentinel-2), dane radarowe SAR (Sentinel-1), dane o wysokości i nachyleniu terenu (NASA SRTM), dane pogodowe i klimatyczne (ERA5), a także mapy pokrycia terenu, gęstości zaludnienia czy dane oświetlenia nocnego.

Elastyczne zarządzanie danymi wejściowymi w Galileo opiera się na tokenizacji, która dzieli dane teledetekcyjne na łaty przestrzenne, czasowe i logiczne grupy kanałów. Pozwala to na przetwarzanie obrazów, szeregów czasowych i statycznych danych tabelarycznych w jednej, spójnej konfiguracji architektonicznej.

Kluczową innowacją jest również autorski algorytm samonadzorowanego wstępnego treningu, który łączy tzw. straty globalne i lokalne. Straty globalne sprzyjają abstrakcji w szerokich kontekstach przestrzennych lub czasowych, co jest idealne do identyfikacji „dużych” lub wolno zmieniających się cech, jak utrata lasów. Z kolei straty lokalne zwiększają wrażliwość na drobne detale, niezbędne do wykrywania małych, szybko zmieniających się obiektów. Ta dwucelowa strategia treningu znacząco poprawia reprezentację cech w wielu skalach, zwiększając ogólną zdolność generalizacji modelu.

Zestaw danych treningowych i wyniki

Aby zapewnić różnorodność semantyczną i geograficzną, zestaw danych używany do wstępnego treningu Galileo obejmuje całą kulę ziemską. Składa się z ponad 127 000 próbek przestrzenno-czasowych, każda zawierająca cztery kategorie i dziewięć typów danych teledetekcyjnych. Trening trwał 500 epok na dużej mocy obliczeniowej, z efektywną wielkością partii 512 i zaawansowanymi technikami augmentacji danych.

Galileo został przetestowany w 11 różnych zestawach danych i 15 zadaniach, obejmujących klasyfikację obrazów i szeregów czasowych pikseli, a także segmentację. Model wykazał superiorną zdolność generalizacji, dominując nad specjalistycznymi modelami w publicznych zestawach danych takich jak EuroSat, BigEarthNet, So2Sat czy CropHarvest. Dla przykładu, jego skuteczność w klasyfikacji na EuroSat osiągnęła 97,7%, przewyższając konkurencyjne modele, takie jak CROMA i SatMAE.

Co więcej, nawet mniejsze warianty modelu (ViT-Nano, ViT-Tiny) osiągnęły wyniki bliskie lub równe najlepszym, co jest istotne w środowiskach o ograniczonych zasobach obliczeniowych. Analizy wykazały, że usunięcie jakiejkolwiek pojedynczej modalności z treningu prowadzi do miernego spadku wydajności, nawet w przypadkach, gdy dany typ danych nie był bezpośrednio używany w teście. To pokazuje znaczenie pełnej multimodalności dla skutecznej generalizacji cech.

Otwartość i wpływ na świat rzeczywisty

Wszystkie kody, wagi modelu i dane treningowe Galileo są dostępne publicznie na GitHubie. To strategiczne posunięcie ma na celu promowanie przejrzystości i przyspieszenie adopcji modelu przez globalną społeczność zajmującą się obserwacją Ziemi. Galileo ma potencjał do wspierania krytycznych działań NASA Harvest, takich jak mapowanie typów upraw w skali globalnej, szybkie mapowanie katastrof (powodzi, pożarów) oraz wykrywanie zanieczyszczeń morskich.

Zdolność modelu do pracy z ograniczoną liczbą danych etykietowanych czyni go szczególnie cennym w regionach, gdzie dane naziemne są trudne do pozyskania. To z kolei wspiera wysiłki na rzecz bezpieczeństwa żywnościowego i adaptacji do zmian klimatycznych. Galileo, dzięki swoim innowacjom metodologicznym i inżynieryjnym, ustanawia nowy standard dla generalistycznej sztucznej inteligencji w teledetekcji, zapewniając niezawodne i wysokiej jakości mapy oraz prognozy, niezależnie od zadania czy lokalizacji geograficznej.