AutoDS: Sztuczna inteligencja, która samodzielnie odkrywa naukę

Współczesne systemy sztucznej inteligencji coraz częściej wspomagają procesy badawcze, jednak zazwyczaj działają w ramach ściśle określonych zapytań i celów. Odpowiedzią na tę fundamentalną barierę w autonomicznej nauce jest AutoDS (Autonomous Discovery via Surprisal) – innowacyjny silnik opracowany przez Allen Institute for Artificial Intelligence (AI2).

W przeciwieństwie do tradycyjnych asystentów AI, które wymagają zdefiniowanych celów lub pytań, AutoDS wyznacza zupełnie nowy kierunek. System samodzielnie projektuje eksperymenty, generuje i testuje hipotezy, a co kluczowe, dąży do tak zwanego „zaskoczenia bayesowskiego”. To matematycznie precyzyjna miara prawdziwego odkrycia, która wykracza poza oczekiwania i konwencjonalne zainteresowania człowieka.

Od pytania do czystej ciekawości

Dotychczasowe podejścia do autonomicznych odkryć naukowych (ASD) koncentrowały się na rozwiązywaniu z góry zadanych problemów. Proces ten obejmował generowanie hipotez istotnych dla danego zagadnienia, a następnie ich eksperymentalną weryfikację. AutoDS zrywa z tym paradygmatem, czerpiąc inspirację z ludzkiej ciekawości. Działa w sposób otwarty: to on decyduje, jakie pytania należy zadać, które hipotezy ścigać i jak budować na podstawie wcześniejszych wyników, całkowicie bez zdefiniowanych z góry celów.

Otwarta eksploracja badawcza jest niezwykle złożona. Wymaga nie tylko zdolności do przeszukiwania ogromnych przestrzeni hipotez, ale także precyzyjnego priorytetyzowania tych, które zasługują na dogłębne badanie. By sprostać tym wyzwaniom, AutoDS formalizuje koncepcję „zaskoczenia” – mierzalnej zmiany w prawdopodobieństwie hipotezy przed i po zebraniu danych empirycznych.

Zaskoczenie bayesowskie jako kompas odkryć

Sercem AutoDS jest nowatorska metoda estymacji zaskoczenia bayesowskiego. Dla każdej generowanej hipotezy, najnowocześniejsze duże modele językowe (LLM), takie jak GPT-4o, pełnią rolę obserwatorów. Oceniają one „wiarygodność” hipotezy (w formie prawdopodobieństw) zarówno przed, jak i po przeprowadzeniu testów empirycznych. Te rozkłady wiarygodności, konstruowane na podstawie wielu ocen z LLM, są modelowane za pomocą rozkładów Beta.

Aby wykryć istotne odkrycia, AutoDS oblicza rozbieżność Kullbacka-Leiblera (KL) między rozkładami Beta (po dowodach) a apriorycznymi (przed dowodami) – formalną miarę zaskoczenia bayesowskiego. Kluczową kwestią jest, że tylko zmiany przekraczające pewien próg istotności (np. z „prawdopodobnie prawdziwe” na „prawdopodobnie fałszywe”) są traktowane jako prawdziwie zaskakujące. To pozwala systemowi skupić się na merytorycznych odkryciach, zamiast na trywialnych aktualizacjach niepewności.

Efektywna eksploracja przestrzeni hipotez

Skuteczne przeszukiwanie ogromnej przestrzeni hipotez wymaga znacznie więcej niż naiwnego próbkowania. AutoDS wykorzystuje algorytm Monte Carlo Tree Search (MCTS) z progresywnym rozszerzaniem, aby ukierunkować poszukiwanie zaskakujących odkryć. Każdy węzeł w drzewie wyszukiwania reprezentuje hipotezę, a gałęzie odpowiadają nowym hipotezom uwarunkowanym wcześniejszymi wynikami. Taka struktura pozwala AutoDS zachować równowagę między eksploracją nowych dróg a kontynuowaniem obiecujących kierunków.

W przeciwieństwie do metod zachłannych lub przeszukiwania wiązkowego, które ryzykują nadmierne zaangażowanie lub przedwczesne odrzucenie, MCTS zapewnia wysoką efektywność odkrywania przy stałej mocy obliczeniowej. Empirycznie, na 21 zbiorach danych z dziedzin takich jak biologia, ekonomia i nauki behawioralne, AutoDS przewyższa wielokrotne próbkowanie, metody zachłanne i przeszukiwanie wiązkowe – odkrywając od 5 do 29% więcej hipotez uznanych za zaskakujące przez LLM.

Architektura i walidacja systemu

AutoDS koordynuje pracę szeregu wyspecjalizowanych agentów LLM, z których każdy odpowiada za inną część autonomicznego procesu naukowego: generowanie hipotez, projektowanie eksperymentów, programowanie i wykonanie badań oraz analizę i rewizję wyników. Zautomatyzowane usuwanie semantycznie podobnych hipotez realizuje hierarchiczny system grupowania, który zapewnia, że końcowy zestaw wyników zawiera tylko prawdziwie odrębne odkrycia.

Zgodność z intuicją naukową człowieka była kluczowym kryterium oceny. W strukturyzowanej ewaluacji, przeprowadzonej przez recenzentów z wykształceniem inżynierskim i naukowym (na poziomie magisterskim/doktoranckim), 67% hipotez uznanych za zaskakujące przez AutoDS zostało również tak ocenionych przez ekspertów dziedzinowych. Interesujące jest, że zaskoczenie bayesowskie AutoDS było bardziej zgodne z ludzkim osądem niż inne wskaźniki, takie jak przewidywana „ciekawość” czy „przydatność”.

Zwrócono uwagę, że natura i kierunek zaskakujących przesunięć w przekonaniach różniły się w zależności od pola naukowego. Na przykład, potwierdzające twierdzenia często wymagały silniejszych dowodów. AutoDS charakteryzuje się wysoką wiarygodnością implementacji i eksperymentalną, przy czym ponad 98% ocenianych odkryć zostało uznanych za poprawnie zaimplementowane przez ludzkich recenzentów.

Obecnie AutoDS jest prototypem badawczym (z planami otwarcia kodu źródłowego w przyszłości). Niemniej jednak, jego architektura i osiągnięcia empiryczne wyznaczają ścieżkę dla skalowalnej, napędzanej AI nauki. Przejście od badań zorientowanych na cel do autonomicznej, opartej na ciekawości eksploracji – i ugruntowanie poszukiwań w zaskoczeniu bayesowskim – wskazuje drogę dla przyszłych systemów AI zdolnych do uzupełniania, przyspieszania, a nawet samodzielnego kierowania odkryciami naukowymi.