OpenTSLM: Nowa era analizy danych szeregów czasowych w medycynie dzięki przełomowemu modelowi językowemu

Sztuczna inteligencja wkracza na nowy poziom w obszarze opieki zdrowotnej. Najnowsze osiągnięcie, OpenTSLM, stanowi odpowiedź na kluczowe ograniczenie obecnych modeli językowych (LLM), umożliwiając im interpretację i analizę złożonych, ciągłych danych medycznych szeregów czasowych, takich jak EKG, EEG i strumienie danych z czujników noszonych na ciele. To zadanie, z którym dotychczas borykały się nawet najbardziej zaawansowane modele, takie jak GPT-4o.

Wyjątkowość danych szeregów czasowych

Medycyna opiera się na analizie zmian w czasie. Precyzyjna diagnoza zależy od monitorowania ewolucji parametrów życiowych, biomarkerów i złożonych sygnałów. Pomimo rozwoju technologii cyfrowych w służbie zdrowia, współczesne modele AI mają trudności z przetwarzaniem tych surowych, ciągłych danych.

Problem tkwi w różnicy między ciągłymi sygnałami (np. rytm serca) a dyskretnymi tokenami tekstowymi, które rozumieją LLM. Dotychczasowe próby połączenia tych dwóch światów poprzez konwersję sygnałów na tekst okazywały się mało efektywne i trudne do skalowania.

Dlaczego modele VLM zawodzą?

Popularnym rozwiązaniem było przekształcanie danych szeregów czasowych w statyczne obrazy (wykresy liniowe) i wprowadzanie ich do modeli VLM (Vision-Language Models). Badania nad OpenTSLM wykazały jednak, że ta metoda jest zaskakująco nieefektywna w precyzyjnej analizie danych medycznych.

Modele VLM są szkolone głównie na naturalnych fotografiach, rozpoznają obiekty i sceny, a nie gęstą, sekwencyjną dynamikę wizualizacji danych. Kiedy sygnały o wysokiej częstotliwości, takie jak EKG, są renderowane na piksele, kluczowe drobne informacje zostają utracone. Subtelne zależności czasowe i zmiany o wysokiej częstotliwości, niezbędne do identyfikacji arytmii serca lub określonych faz snu, stają się niewidoczne.

Badania potwierdzają, że VLM mają znaczne trudności z analizą tych wykresów, co podkreśla, że szeregi czasowe muszą być traktowane jako odrębna modalność danych, a nie tylko jako obraz.

OpenTSLM: Nowe podejście

OpenTSLM integruje szeregi czasowe jako natywną modalność bezpośrednio z wstępnie wytrenowanymi LLM (takimi jak Llama i Gemma), umożliwiając wykonywanie zapytań w języku naturalnym i analizowanie złożonych danych medycznych.

Zespół badawczy zbadał dwie różne architektury:

OpenTSLM-SoftPrompt

To podejście koduje dane szeregów czasowych w uczące się tokeny, które są następnie łączone z tokenami tekstowymi (soft prompting). Metoda ta jest wydajna dla krótkich serii danych, ale słabo się skaluje. Dłuższe sekwencje wymagają wykładniczo więcej pamięci, co czyni ją niepraktyczną do kompleksowej analizy.

OpenTSLM-Flamingo

Inspirowane architekturą Flamingo, to przełomowe rozwiązanie zapewnia skalowalność. Modeluje szeregi czasowe jako oddzielną modalność. Wykorzystuje dedykowany enkoder i Perceiver Resampler do tworzenia reprezentacji danych o stałym rozmiarze, niezależnie od ich długości, i łączy ją z tekstem za pomocą gated cross-attention.

OpenTSLM-Flamingo utrzymuje stabilne zapotrzebowanie na pamięć nawet przy rozbudowanych strumieniach danych. Podczas treningu na złożonej analizie danych EKG wariant Flamingo wymagał tylko 40 GB VRAM, w porównaniu do 110 GB dla wariantu SoftPrompt, przy użyciu tego samego szkieletu LLM.

Przewaga nad GPT-4o

Wyniki pokazują, że specjalistyczne podejście TSLM jest wyraźnie lepsze. Aby ocenić wydajność, zespół stworzył trzy nowe zestawy danych Chain-of-Thought (CoT) skupione na rozumowaniu medycznym: HAR-CoT (rozpoznawanie aktywności), Sleep-CoT (określanie faz snu na podstawie EEG) i ECG-QA-CoT (odpowiadanie na pytania dotyczące EKG).

• Fazy snu: OpenTSLM osiągnął wynik F1 69,9%, znacznie przewyższając najlepszą linię bazową opartą wyłącznie na tekście (9,05%).
• Rozpoznawanie aktywności: OpenTSLM osiągnął wynik F1 65,4%.

Co ciekawe, nawet małe modele OpenTSLM (1 miliard parametrów) znacznie przewyższały GPT-4o. Niezależnie od tego, czy przetwarzał dane jako tokeny tekstowe (gdzie GPT-4o uzyskał tylko 15,47% na Sleep-CoT), czy jako obrazy, ten model nie dorównywał specjalistycznym TSLM.

To odkrycie podkreśla, że specjalistyczne architektury AI, dostosowane do konkretnej domeny, mogą osiągać lepsze wyniki bez ogromnej skali, otwierając drogę do wydajnego, lokalnego wdrażania medycznej AI.

Kliniczna walidacja w Stanford Hospital

Kluczowym elementem medycznej AI jest zaufanie. W przeciwieństwie do tradycyjnych modeli, które generują pojedynczą klasyfikację, OpenTSLM tworzy czytelne dla człowieka uzasadnienia (Chain-of-Thought), wyjaśniając swoje przewidywania. Ta transparentność AI jest niezbędna w warunkach klinicznych.

Aby zweryfikować jakość tego rozumowania, przeprowadzono ekspercką ocenę z udziałem pięciu kardiologów ze Stanford Hospital. Ocenili oni uzasadnienia generowane przez model OpenTSLM-Flamingo dla interpretacji EKG.

Ocena wykazała, że model zapewnił poprawną lub częściowo poprawną interpretację EKG w aż 92,9% przypadków. Model wykazał wyjątkowy potencjał we włączaniu kontekstu klinicznego (85,1% pozytywnych ocen), demonstrując zaawansowane możliwości reasoningu w oparciu o surowe dane sensoryczne.

Przyszłość multimodalnego uczenia maszynowego

Wprowadzenie OpenTSLM stanowi znaczący postęp w multimodalnym uczeniu maszynowym. Skutecznie likwidując lukę między LLM a danymi szeregów czasowych, badania te kładą podwaliny pod uniwersalne TSLM zdolne do obsługi różnorodnych danych longitudinalnych, nie tylko w opiece zdrowotnej, ale także w finansach, monitoringu przemysłowym i innych dziedzinach.

Aby przyspieszyć innowacje w tej dziedzinie, zespoły ze Stanford i ETH Zurich udostępniły na zasadach open-source cały kod, zestawy danych i wytrenowane wagi modelu.