PRISM2: Jak Microsoft i Paige uczą sztuczną inteligencję 'rozmawiać’ z wycinkami tkanek

Zamiast tylko klikać w podejrzane piksele, patolog może teraz zapytać komputer o konkretne cechy nowotworu. Microsoft, wspólnie z firmą Paige, zaprezentował PRISM2 – system, który wykracza poza proste etykietowanie obrazów i wchodzi w interakcję z lekarzem. To przejście od pasywnego narzędzia do aktywnego asystenta diagnostycznego, oparte na gigantycznej bazie danych medycznych.

Dlaczego to ważne teraz

Wdrożenie PRISM2 stanowi istotny krok w cyfryzacji medycyny, ponieważ łączy surowe dane obrazowe z językiem naturalnym w skali dotąd niespotykanej. Model bazuje na 2,3 milionach skanów całych preparatów (WSI) oraz na 700 tysiącach par próbka-raport. To właśnie ten ogromny zbiór danych, pochodzący z Memorial Sloan Kettering Cancer Center, pozwala systemowi nie tylko rozpoznawać zmiany, ale i generować odpowiedzi na 14 milionów pytań diagnostycznych stworzonych na potrzeby szkolenia. Informacje o projekcie, opublikowane m.in. na arXiv, sugerują, że kończy się era AI, która potrafi tylko zakreślać kółka na ekranie.

Dialog jako nowa metoda diagnostyki obrazowej

Współczesna patologia cyfrowa przestaje polegać wyłącznie na rozpoznawaniu wzorców wizualnych. Dzięki wykorzystaniu modelu GPT-4o do przetworzenia dokumentacji na pary pytań i odpowiedzi, PRISM2 uczy się interpretować dane medyczne w kontekście konkretnych problemów klinicznych. Jak zauważają autorzy w technicznym omówieniu systemu, na drugim etapie szkolenia model językowy zostaje „odmrożony”, aby umożliwić prowadzenie diagnostycznego dialogu (Stage 2, the language model is unfrozen to enable diagnostic conversation).

Architektura dwóch prędkości

Konstrukcja PRISM2 opiera się na dwuetapowym procesie szkolenia. W pierwszej fazie system koncentruje się na agregowaniu tysięcy cech z poszczególnych fragmentów tkanki w jeden spójny wektor. Kluczowe jest tutaj jednoczesne zastosowanie dwóch funkcji straty: kontrastywnej, która zbliża reprezentacje wizualne do języka medycznego, oraz autoregresyjnej, wymuszającej zdolność do generowania tekstu. Druga faza przenosi ciężar operacyjny na model językowy Phi-3 Mini o parametrach rzędu 4 miliardów, który jest dostrajany ściśle pod konwencję raportowania patomorfologicznego.

Precyzja w starciu z rzadkimi przypadkami

Wyniki testów stawiają PRISM2 w ścisłej czołówce. Model osiągnął wskaźnik AUC na poziomie 0,967 w ogólnej detekcji nowotworów, przewyższając wcześniejsze systemy takie jak TITAN. Co ciekawe, w zadaniach dotyczących przerzutów do węzłów chłonnych piersi, PRISM2 okazał się lepszy od specjalistycznego produktu Paige BLN, mimo braku dedykowanego szkolenia w tym kierunku. Wyzwanie pojawia się przy rzadkich nowotworach – tutaj mniejsza liczba danych szkoleniowych przełożyła się na spadek skuteczności do poziomu 0,957 AUC.

Granice sztucznej inteligencji

Mimo wyników, system ma swoje słabości. Błędy w odpowiedziach wahają się od 7 do 11 procent, a najczęstszym problemem są halucynacje oraz pominięcia istotnych informacji. Poważnym ograniczeniem technicznym jest fakt, że model nie posiada mechanizmu rozumowania przestrzennego – jak czytamy w analizach, system nie przenosi kodowania pozycji między fragmentami (The model carries no position encoding across tiles). Oznacza to, że SI nie „widzi” wzajemnego ułożenia struktur na szkiełku, co w patologii bywa kluczowe.

Wnioski dla sektora medycznego

Choć wagi modelu trafiły na platformę Hugging Face, pełna replikacja wyników jest trudna z powodu zależności od zamkniętej infrastruktury Microsoftu. Dla szpitali kluczowa pozostaje zewnętrzna walidacja. Dane pochodziły z jednej instytucji, co rodzi ryzyko skrzywienia wynikającego z lokalnych metod przygotowania preparatów. Niemniej PRISM2 udowadnia, że przyszłość patologii leży w modelach multimodalnych, zdolnych do wyjścia poza prostą klasyfikację w stronę pełnoprawnego, medycznego dialogu.