Carbon-X od Hugging Face: model, z którym można „rozmawiać” o DNA, działa na laptopie

Hugging Face udostępnił otwarty model do analizy DNA, który można uruchomić lokalnie na laptopie. Carbon-X powstał we współpracy z badaczami z Zhongguancun Academy w Chinach i Uniwersytetu Fryderyka II w Neapolu. Jak opisuje Wired, model uczono jednocześnie na sekwencjach genomowych i tekście naturalnym. Użytkownik może więc zapytać o skutki zmian w DNA dla aktywności genów i zdrowia i dostać odpowiedź w formie rozmowy.

Lewis Tunstall, starszy badacz w Hugging Face, mówi, że zespół odblokował „nową zdolność modeli językowych, czyli możliwość rozmowy z DNA”. Narzędzie ma pomagać w projektowaniu leków i terapii genowych, a potencjalnie także pacjentom w interpretacji własnych genomów. Według Tunstalla pytania o DNA mogą zadawać nawet osoby nietechniczne, co nie byłoby możliwe w innych narzędziach.

Jak powstał Carbon-X

Zespół wziął istniejący model językowy i rozszerzył jego słownik tak, by czytał DNA w grupach po sześć liter. Według karty modelu to architektura decoder-only z 14,8 mld parametrów. DNA i tekst trafiają do niej we wspólnym strumieniu tokenów, a sekwencje są kodowane jako niepokrywające się 6-mery.

Dalsze trenowanie objęło ponad 300 mld tokenów: sekwencje DNA, angielski tekst i przykłady łączące DNA z opisami biologicznymi. Sekwencje pochodziły od ssaków (w tym człowieka), innych kręgowców, bezkręgowców, roślin, grzybów i pierwotniaków. Wirusów w danych nie ma. Tunstall tłumaczy, że zespół nie chciał, by model posłużył do potencjalnie niebezpiecznych zastosowań.

Lokalnie, ale z ograniczeniami

Rozmiar modelu został dobrany świadomie. Badacze mają ograniczenia w wysyłaniu danych identyfikowalnych lub wrażliwych do dużych modeli w chmurze. Carbon-X działa na sprzęcie użytkownika i, jak zapewnia Tunstall, żadne dane nie trafiają do Hugging Face ani innej firmy. Dla wersji lokalnej przygotowano warianty GGUF. Pełna wersja BF16 waży 29,7 GB, a skwantyzowana Q8_0 ok. 15,8 GB.

Model nie przyjmie całego genomu. Uczono go na fragmentach o długości około 50 tys. par zasad, więc można pytać tylko o niewielkie jego części naraz. Jednym z zastosowań ma być ocena, czy mutacja jest łagodna, czy chorobotwórcza. To ważny krok przy tworzeniu terapii celowanej, bo zła mutacja jako cel może oznaczać nieskuteczną interwencję, a w gorszym wypadku szkody.

Brak walidacji

Najważniejsze zastrzeżenie pochodzi od samych twórców: nie zweryfikowali modelu w eksperymentach wet-lab, więc nie potrafią powiedzieć, jak trafne są jego przewidywania. Przy narzędziu, które ma pomagać w ocenie mutacji, to zasadnicza luka. Rozmowny interfejs nie świadczy o poprawności odpowiedzi.

Na tle konkurencji Carbon-X wyróżnia się formą. AlphaGenome z Google DeepMind, pokazany w zeszłym roku, przewiduje skutki sekwencji i mutacji, ale zwraca wyniki liczbowe i wymaga więcej mocy obliczeniowej. Evo 2 z Arc Institute i Nvidii „mówi językiem DNA” i potrafi generować całe genomy od zera. Carbon-X łączy DNA z językiem naturalnym w interfejsie konwersacyjnym. Wired nazywa go „ChatGPT dla DNA”.

Premiera zbiega się z przejęciem Hugging Face przez Nvidię. Według dokumentu złożonego w SEC transakcja ma zostać zamknięta w pierwszej połowie 2027 roku, po spełnieniu warunków regulacyjnych. Nvidia wycenia ją na około 12,9 mld dolarów, a Wired pisze o niemal 13 mld.