Sztuczna inteligencja sprawdzi, czy korelacja to na pewno przyczyna. Nowy system oceni rzetelność badań

Wnioski z prac naukowych mają osobliwą właściwość: im dłuższą drogę pokonują od publikacji w czasopiśmie do nagłówków w mediach i uzasadnień dla decyzji politycznych, tym bardziej rośnie w nich pozorna pewność. Ostrożnie opisana zależność statystyczna w badaniu obserwacyjnym szybko zamienia się w chwytliwy komunikat o odkryciu bezpośredniej przyczyny zjawiska. Narzędzie o nazwie Automated Scientific Paper Reviewer (ASP1) powstało właśnie po to, by tę drogę przeciąć i weryfikować, czy zebrane dowody rzeczywiście uzasadniają stawiane tezy.

Jak opisuje organizacja American Council on Science and Health (ACSH), ASP1 nie powstał po to, by pełnić funkcję nieomylnego arbitra prawdy naukowej, lecz jako asystent niezależnych recenzentów. Zamiast wysyłać ogólne zapytanie do modelu językowego, system wykorzystuje wyspecjalizowane moduły ustrukturyzowane wokół konkretnych pytań metodologicznych. Rozwiązanie, którego ramy formalne przedstawiono w czasopiśmie Risk Analysis, wydobywa z tekstu twierdzenia o charakterze przyczynowo-skutkowym, sprawdza projekt badania, analizę statystyczną oraz podatność na czynniki zakłócające (tzw. confounding). Każda ocena generowana przez algorytm jest bezpośrednio powiązana z konkretnymi fragmentami analizowanego dokumentu, co pozwala człowiekowi prześledzić tok rozumowania maszyny.

Efektem pracy systemu jest pakiet raportów syntetyzujących poziom poparcia dla wniosków autorów, a także zwięzłe wytyczne przygotowane dla konkretnych grup odbiorców: naukowców, prawników, decydentów oraz dziennikarzy.

Działanie narzędzia przetestowano na głośnym badaniu dotyczącym wskaźnika masy ciała (BMI) u pacjentów ze świeżo zdiagnozowaną demencją, opisanym m.in. przez New York University. Analiza danych z wieloletniego projektu Health and Retirement Study wykazała zaskakującą zależność: osoby z nadwagą lub otyłością w momencie diagnozy miały statystycznie niższe ryzyko zgonu w kolejnych latach niż pacjenci o prawidłowej masie ciała (spadek ryzyka wynosił od 16 do 27 proc. w zależności od kategorii BMI).

Autorzy publikacji indeksowanej w PubMed zaznaczali, że zaobserwowana relacja nie dowodzi, iż wyższa masa ciała chroni przed śmiercią, ani nie daje podstaw do zalecania tycia jako terapii. Wygenerowany przez ASP1 brief dla reporterów precyzyjnie wskazał granice interpretacji: nagłówek prasowy powinien mówić wyłącznie o korelacji, wyraźnie zaznaczając, że charakter badania obserwacyjnego uniemożliwia wykazanie bezpośredniego mechanizmu przyczynowego.

Problem mylenia korelacji ze związkiem przyczynowym jest jednym z głównych wyzwań w polityce zdrowia publicznego — pojawia się regularnie choćby w debatach wokół ultraprzetworzonej żywności, gdzie projektowanie skutecznych interwencji wymaga oceny ich prawdopodobnych skutków oraz zrozumienia, jak w praktyce zmienią się nawyki i wybory żywieniowe konsumentów. ASP1 pokazuje, że rola sztucznej inteligencji w nauce nie musi ograniczać się do spektakularnych odkryć. Równie potrzebna okazuje się algorytmiczna kontrola jakości, która pomaga odróżnić twarde dane od życzeniowych interpretacji.