IdeaTaste: modele językowe osiągają ok. 18% ludzkiego „gustu badawczego”

Sprawdzenie, czy model potrafi napisać przekonującą propozycję badawczą, to jedno. Sprawdzenie, czy wybrałby te same kierunki, w które później poszła cała dziedzina, to drugie. Właśnie to mierzy IdeaTaste, benchmark opisany w pracy na arXiv przez Shanshan Zhong, Chena Xu, Jingjie Ninga, Zhengzhonga Liu, Avirala Kumara i Chenyana Xionga.

Pomysł jest prosty. Literaturę zamraża się na stanie z 2025 roku, modele piszą na jej podstawie propozycje badań, a potem ocenia się, jak bardzo przypominają one to, co te same społeczności naukowe opublikowały w 2026 roku. Autorzy definiują „research taste” jako zdolność oceny, co czytać, jakimi problemami się zajmować i jakie metody wypróbować. Ich zdaniem to umiejętność coraz ważniejsza dla „AI naukowców”, a znacznie słabiej zbadana niż zdolność wykonywania badań.

Liczby

Eksperymenty objęły sześć współczesnych modeli językowych i cztery obszary badawcze, od ugruntowanych po dopiero rozwijające się. Łącznie przeanalizowano ponad 90 tys. propozycji. Autorzy raportują cztery metryki: dopasowanie cytowań, dopasowanie pomysłów oraz różnorodność cytowań i pomysłów.

Wyniki wypadają słabo. Agenci LLM osiągnęli około 26% poziomu ludzkiego w dopasowaniu cytowanych prac i zaledwie 18% w dopasowaniu pomysłów. Wartości te są wyrażone względem poziomu ludzkich społeczności, a nie jako odsetek trafień.

Gdzie model się gubi

Najciekawsze jest to, w którym miejscu pojawia się luka. Według autorów populacje modeli potrafią cytować równie różnorodnie jak cała społeczność i podejmują jej zadania oraz metody. Rzadko jednak dochodzą do konkretnych podejść i planów badawczych, które ta społeczność faktycznie realizuje. Wniosek z pracy: wąskim gardłem nie jest znalezienie kierunku, w którym zmierza dziedzina, lecz przełożenie go na konkretne rozwiązanie.

Nie pomogło też proste zwiększanie nakładów. Ani bogatszy kontekst o danej dziedzinie, ani większe populacje generowanych propozycji nie domknęły luki w istotnym stopniu.

Potwierdza to ślepa ocena ekspertów. Propozycje AI najmniej ustępowały pracom z 2026 roku pod względem prezentacji, a najbardziej pod względem oczekiwanego sukcesu. Najgorzej wypadały te, których pomysłów nie podzielała żadna praca napisana przez ludzi. Autorzy interpretują to jako oznakę słabszych kierunków, a nie przeoczonych szans. Dobrze napisany tekst nie oznacza więc dobrze wybranego problemu.

Żywy ranking

IdeaTaste ma być otwartym, stale aktualizowanym rankingiem, który zestawia bieżące propozycje AI z przyszłymi cyklami publikacji. Kod i materiały projektu są dostępne w repozytorium na GitHubie. Zaletą takiego rankingu jest to, że wzorcem nie jest opinia recenzenta, tylko to, co środowisko naukowe rzeczywiście wybrało do publikacji. Z drugiej strony publikacja nie jest tym samym co wartość naukowa.