NebulaStream: Nowa era przetwarzania danych w sieciach IoT

Wraz z dynamicznym rozwojem Internetu Rzeczy (IoT), rośnie zapotrzebowanie na efektywne przetwarzanie ogromnych ilości danych generowanych przez sensory i urządzenia. Odpowiedzią na te wyzwania ma być NebulaStream, nowatorski silnik przetwarzania strumieniowego, którego otwartą wersję udostępnił Berliński Instytut Podstaw Uczenia Się i Danych (BIFOLD). Oprogramowanie, dostępne na licencji Apache 2.0, jest efektem współpracy z Grupą DIMA z TU Berlin oraz Grupą IAM z DFKI i zostało zaprezentowane na konferencji SIGMOD 2025.

Kluczową innowacją NebulaStream jest zdolność do przetwarzania danych bezpośrednio tam, gdzie są generowane – na sensorze, urządzeniu brzegowym lub bramce. Taka architektura minimalizuje opóźnienia i redukuje zapotrzebowanie na przepustowość sieci, co jest szczególnie istotne w aplikacjach wymagających niemal natychmiastowej reakcji. Silnik wspiera różnorodne architektury sprzętowe, od ARM po x86, generując kod zoptymalizowany pod konkretne platformy. Co więcej, adaptacyjne zarządzanie zasobami ma zapewniać stabilność działania nawet w zmiennych warunkach lub przy braku łączności z internetem.

Możliwości NebulaStream wykraczają poza standardowe gromadzenie danych. Silnik potrafi integrować i przetwarzać strumienie danych o różnej modalności i częstotliwości, co otwiera drogę do zaawansowanych zastosowań. Przykładem jest projekt NEEDMI, wyróżniony nagrodą Best Demo Honorable Mention na SIGMOD 2025. W ramach tego projektu NebulaStream służy jako podstawa dla inteligentnego kopilota w jednostkach intensywnej terapii (ICU), umożliwiając personelowi medycznemu wgląd w kompleksowe dane o stanie pacjenta w czasie rzeczywistym, bezpośrednio przy jego łóżku. To pokazuje potencjał systemu w poprawie oceny zdrowia i wspieraniu decyzji klinicznych.

Elastyczność i rozszerzalność to kolejne atuty NebulaStream. System oferuje wsparcie dla typowych zadań przetwarzania strumieniowego, takich jak wyrównywanie danych czy wnioskowanie, jednocześnie pozwalając deweloperom na wprowadzanie własnych operatorów, formatów i optymalizacji. Upraszcza to adaptację silnika do specyficznych potrzeb bez zagłębiania się w nisko-poziomowe detale implementacyjne. To czyni go atrakcyjnym narzędziem dla szerokiego spektrum zastosowań, od konserwacji predykcyjnej i monitorowania środowiska, po inteligentne fabryki i wspomnianą medycynę.

Jak podkreśla Steffen Zeuch, lider projektu i architekt systemowy NebulaStream, jego rozwój był wynikiem znaczących wysiłków wielu osób. Oprogramowanie to, początkowo zaprezentowane jako preprint naukowy w 2020 roku, teraz staje się dostępne dla globalnej społeczności deweloperów. Dostępność kodu źródłowego, dokumentacji i wytycznych dla współtwórców na nebula.stream to krok w stronę szerszego zastosowania tej technologii w realnych implementacjach IoT.