MIRIAD: nowy zbiór danych radykalnie poprawia dokładność AI w medycynie

Duże modele językowe (LLM) mają potencjał, by przekształcić opiekę zdrowotną, oferując inteligentne wsparcie w podejmowaniu decyzji i adaptacyjne asystenty konwersacyjne. Niemniej jednak, ich szerokie zastosowanie w medycynie napotyka istotne wyzwania, z których największym jest tendencja do generowania nieprawdziwych informacji, powszechnie nazywanych „halucynacjami”. Dotychczasowe rozwiązania, takie jak generowanie rozszerzone pobieraniem (RAG), polegają na fragmentowaniu zewnętrznej wiedzy medycznej i udostępnianiu jej LLM-om. Mimo swojej obiecującej natury, obecne metody RAG często opierają się na nieustrukturyzowanych, zaszumionych i trudnych do skutecznej interpretacji danych, co obniża ich wiarygodność i dokładność.

Powszechne podejścia do RAG w opiece zdrowotnej nie były dotąd optymalnie dostosowane do wymagań specyfiki medycznej. Modele te, choć imponujące w ogólnych zadaniach językowych, często zawodzą w dziedzinach wymagających aktualnej i precyzyjnej wiedzy, jak medycyna. W przeciwieństwie do domen ogólnych, w medycynie brakuje dużych, wysokiej jakości zbiorów danych, które łączyłyby pytania medyczne z odpowiednimi odpowiedziami. Istniejące zbiory danych, jak PubMedQA czy MedQA, są zbyt małe, nadmiernie ustrukturyzowane (np. w formie pytań wielokrotnego wyboru) lub brakuje im otwartych, rzeczywistych odpowiedzi niezbędnych do budowy solidnych systemów wyszukiwania medycznego.

MIRIAD: uporządkowana wiedza medyczna dla lepszych modeli językowych

W odpowiedzi na te wyzwania, multidyscyplinarny zespół badaczy z ETH Zurych, Stanford University, Mayo Clinic oraz innych instytucji opracował MIRIAD (Medical Instruction-Response Initiative and Dataset). Jest to przełomowy, szeroki zbiór danych, zawierający ponad 5,8 miliona wysokiej jakości par instrukcja-odpowiedź z zakresu medycyny. Każda para jest starannie przeformułowana i ugruntowana w recenzowanej literaturze naukowej, co osiągnięto dzięki półautomatycznemu procesowi obejmującemu LLM-y, filtry i przegląd ekspercki. MIRIAD, w odróżnieniu od wcześniejszych nieustrukturyzowanych zbiorów, oferuje uporządkowaną, możliwą do wyszukiwania wiedzę medyczną, zwiększając dokładność LLM-ów w złożonych zadaniach medycznych Q&A o nawet 6,7% oraz poprawiając wykrywanie halucynacji o 22,5–37%.

Jak powstał MIRIAD?

Proces tworzenia MIRIAD opierał się na rygorystycznej metodologii. Badacze przesiali 894 tysiące artykułów medycznych z korpusu S2ORC, dzieląc je na czyste, zdaniowe fragmenty i eliminując treści zbyt długie lub zaszumione. Wykorzystując LLM-y ze ustrukturyzowanymi podpowiedziami, wygenerowali ponad 10 milionów par pytanie-odpowiedź, które następnie zostały zawężone do 5,8 miliona dzięki filtrowaniu opartemu na regułach. Specjalnie wyszkolony klasyfikator, bazujący na etykietach GPT-4, pomógł dalej zawęzić zbiór do 4,4 miliona wysokiej jakości par. Próbki danych zostały również zweryfikowane przez ludzkich ekspertów medycznych pod kątem dokładności, trafności i ugruntowania w literaturze. Dodatkowo, zespół stworzył MIRIAD-Atlas, interaktywną, dwuwymiarową mapę zbioru danych, wykorzystującą osadzanie i redukcję wymiarowości do grupowania powiązanych treści według tematu i dyscypliny.

Wydajność i przyszłość

Wykorzystanie zbioru danych MIRIAD w systemach RAG znacznie poprawiło wydajność modeli językowych w zadaniach medycznych. Modele osiągnęły do 6,7% wyższą dokładność w porównaniu z użyciem danych nieustrukturyzowanych, nawet przy tej samej ilości pobranej treści. MIRIAD również zwiększył zdolność modeli do wykrywania halucynacji medycznych, z poprawą wyniku F1 w zakresie od 22,5% do 37%. Choć MIRIAD nie jest jeszcze wyczerpujący, stanowi solidną podstawę dla przyszłych zbiorów danych. Ciągłe ulepszenia mogłyby umożliwić dokładniejsze i bardziej angażujące użytkownika wyszukiwania, a także lepszą integrację z narzędziami klinicznymi i systemami AI w medycynie.