Czy zalewa nas fala pseudonauki generowanej przez AI? Konsekwencje dla wiarygodności badań i jak temu zaradzić

W przeszłości koncerny farmaceutyczne płaciły za artykuły w czasopismach medycznych, które miały promować ich produkty, nawet kosztem rzetelności naukowej. Dobrym przykładem jest firma Wyeth (przejęta później przez Pfizera), która została pozwana przez tysiące kobiet, które zachorowały na raka piersi po zażyciu leków hormonalnych. Okazało się, że firma opłacała ghostwriterów, którzy pisali artykuły naukowe pod nazwiskiem znanych lekarzy. Artykuły te miały promować niepotwierdzone korzyści leków i minimalizować ich szkodliwość.

Obecnie, dzięki sztucznej inteligencji, tworzenie takich „naukowych dowodów” staje się jeszcze łatwiejsze i tańsze. To, co kiedyś zajmowało miesiące, teraz można wygenerować w kilka godzin.

Zalew publikacji o wątpliwej wartości

Widać już wzrost liczby publikacji, które wykorzystują dane zoptymalizowane pod kątem użycia z AI i prezentują wyniki oparte na pojedynczych czynnikach. Takie badania są podatne na manipulacje i mogą prowadzić do fałszywych wniosków. Wystarczy wspomnieć o badaniach, które łączą jedzenie jajek z rozwojem demencji. Analiza baz danych Scopus i Pubmed pokazała dramatyczny wzrost publikacji tego typu – ze średnio czterech rocznie w latach 2014-2021 do aż 190 w ciągu pierwszych dziesięciu miesięcy 2024 roku.

Nie wszystkie te badania są motywowane interesem korporacji – część z nich może wynikać z chęci zdobycia punktów przez naukowców. Jednak łatwość generowania takich badań przez AI stwarza dodatkową pokusę dla firm, które chcą promować swoje produkty.

Nowe regulacje i ich potencjalne skutki uboczne

W Wielkiej Brytanii nowe wytyczne rządowe nakazują producentom żywności dla niemowląt, aby opierali swoje twierdzenia marketingowe o korzyściach zdrowotnych na dowodach naukowych. Choć intencja jest dobra, może to doprowadzić do sytuacji, w której firmy będą poszukiwać wyników potwierdzających, że ich produkty są zdrowe, co z kolei zwiększy popyt na „dowody naukowe” generowane przy pomocy AI.

Krytyczna rola recenzji naukowej

Istotnym problemem jest fakt, że badania nie zawsze przechodzą proces recenzji naukowej, zanim staną się podstawą decyzji politycznych. Przykładem może być opinia sędziego Sądu Najwyższego USA, Samuela Alito, który w sprawie dotyczącej prawa do posiadania broni powołał się na nieopublikowany artykuł sfinansowany przez organizację pro-gun. Niemożliwe jest zweryfikowanie wiarygodności tych danych, ponieważ nie są one publicznie dostępne.

Lekcja jest oczywista: należy zachować ostrożność w stosunku do badań, które nie przeszły recenzji naukowej. Konieczna jest także reforma samego procesu recenzowania, aby nadążyć za eksplozją publikacji i zapewnić, że recenzenci rzetelnie wykonują swoją pracę.

Jak wzmocnić wiarygodność nauki?

Istnieją już procedury, które mogą zmniejszyć ryzyko publikowania fałszywych wyników. Należą do nich:

• Publikowanie planu badań przed rozpoczęciem pracy (prerejestracja).
• Transparentne raportowanie wszystkich kroków podjętych w badaniu.
• Weryfikacja prerejestracji i procedur przez recenzentów.
• Stosowanie analizy wrażliwości na zmiany specyfikacji modelu (specification curve analysis) dla badań opartych na pojedynczych czynnikach.

Wiele czasopism naukowych wprowadziło te zmiany, wymagając od autorów publikowania danych, kodu i materiałów użytych w eksperymentach, a także ujawniania konfliktów interesów i źródeł finansowania.

Niektóre poszły jeszcze dalej, wymagając od autorów cytowania wszystkich podobnych analiz i ujawniania, w jaki sposób AI zostało wykorzystane w ich pracy.

Obecny system wydaje się być niewystarczający, aby poradzić sobie z zalewem artykułów, które generuje AI. Recenzenci muszą poświęcić więcej czasu i wysiłku na sprawdzenie prerejestracji, analiz wrażliwości, danych i kodu. W związku z tym należy stworzyć mechanizm recenzowania, który nagradza recenzentów za jakość ich pracy.

Konieczność działania

Zaufanie społeczne do nauki pozostaje wysokie na całym świecie, co jest korzystne dla społeczeństwa, ponieważ metoda naukowa promuje prawdę i znaczenie ponad popularność i zysk. AI zagraża temu ideałowi bardziej niż kiedykolwiek wcześniej. Jeśli nauka ma zachować swoją wiarygodność, musimy pilnie zmotywować recenzentów do rzetelnej pracy.