Twórca AlphaGo chce leczyć halucynacje AI. Na razie ma tylko white paper

Thore Graepel, który w DeepMind pracował przy AlphaGo, założył start-up Metis Reasoning. Jego teza: halucynacji nie wyeliminuje się większymi modelami językowymi, tylko architekturą, w której system śledzi, co wie, i każdy wniosek sprawdza z dowodami. Graepel przedstawił podejście na konferencji Nvidia GTC w Berlinie.

AlphaGo bez planszy do go

Punkt wyjścia to porównanie. Według Metis dzisiejsze modele językowe odpowiadają wyłącznie sieci predykcyjnej z AlphaGo, czyli tej części, która podpowiadała możliwe ruchy. AlphaGo łączył ją z systematycznym przeszukiwaniem sekwencji gry. Dzięki temu znalazł słynny ruch 37 w meczu z Lee Sedolem w 2016 roku. Sieć oceniała, że człowiek zagrałby go z prawdopodobieństwem rzędu jednego do dziesięciu tysięcy. Metis chce przenieść takie przeszukiwanie na rozumowanie ogólne.

Rolę planszy ma pełnić jawny rejestr wiedzy (knowledge ledger). Zapisuje się w nim, co system uważa za znane, z jaką pewnością i które pytania pozostają otwarte. Osobny moduł sprawdza nowe wpisy za pomocą obliczeń, formalnych dowodów lub danych empirycznych. Jeśli jakieś założenie upadnie, wszystkie wnioski, które na nim się opierały, są oceniane od nowa.

„Ruchem” może być pytanie, eksperyment albo zakwestionowanie istniejącego założenia. System wybiera ten, który najbardziej zmniejsza niepewność co do pytania wyjściowego. Na końcu daje odpowiedź albo uzasadnioną odmowę jej udzielenia. Krok rozumowania zmienia stan wiedzy tylko wtedy, gdy niezależna kontrola uzna go za dostatecznie poparty. Podobnie jak w AlphaGo działają dwie sieci neuronowe, które proponują i oceniają ruchy. Są trenowane na zapisach wcześniejszych analiz, ale nie mogą obejść reguł weryfikacji.

Metis obiecuje z tego mniej halucynacji, wyjaśnienia ze wskazaniem źródeł i wiedzę, którą da się zmienić lub usunąć bez ponownego trenowania modelu. Skoro rozumowanie rozpada się na małe kroki, zyskać mogłyby też mniejsze modele na urządzeniach brzegowych i w robotach.

Diagnoza: modele się nie sprawdzają tam, gdzie błąd kosztuje

Według Metis więcej danych i mocy obliczeniowej poprawia modele, ale nie rozwiązuje ich podstawowych wad. Modele zmyślają odpowiedzi, ich łańcuchów rozumowania nie da się zweryfikować, a wiedza jest zamknięta w wagach. Halucynacje wynikają zdaniem autorów z samego treningu, bo model uczy się tworzyć tekst wiarygodny, a niekoniecznie prawdziwy. Łańcuchy myśli w modelach rozumujących często nie pokazują też, jak naprawdę powstała odpowiedź.

Z tego autorzy wywodzą niewielki dotąd wpływ AI na gospodarkę. Gdy agent działa w imieniu firmy, trudno prześledzić błąd do źródła i nie da się usunąć z modelu błędnej wiedzy. W programowaniu AI przyjęła się szybko, bo kod łatwo przetestować i cofnąć zmiany. W medycynie, finansach, projektowaniu układów scalonych i robotyce, jak twierdzi paper, weryfikowalność musi być wbudowana od początku.

Koncepcja bez systemu

Pomysły o podobnym duchu już istnieją. GraphRAG Microsoftu trzyma wiedzę poza wagami, w grafie wiedzy, a AlphaGeometry2 od Google łączy model językowy z silnikiem symbolicznym, który weryfikuje dowody matematyczne. Metis chce rozszerzyć te zasady na otwarte pytania ze świata rzeczywistego.

To właśnie ten krok jest najsłabiej udokumentowany. White paper opisuje wyłącznie program badawczy: bez działającego systemu, benchmarków i porównań z obecnymi modelami rozumującymi. Autorzy przyznają, że w przeciwieństwie do go realny świat daje tylko częściowe informacje, dowody bywają kosztowne, a niektóre pytania nie mają odpowiedzi. Jak ocenia The Decoder, największą niewiadomą pozostaje budowa zweryfikowanego rejestru poza podręcznikowymi przykładami, zwłaszcza że dawne systemy symboliczne zawiodły z powodu konieczności ręcznego wprowadzania całej wiedzy.

Kolejny weteran DeepMind poza Google

Graepel doktoryzował się z uczenia maszynowego w Berlinie w 2001 roku. W Microsoft Research współtworzył TrueSkill, system dobierania graczy w Xbox Live. W DeepMind pracował przy AlphaGo, AlphaZero i MuZero. Po epizodzie w Altos Labs trafił do zespołu post-AGI w Google DeepMind, który opuścił latem. Kieruje też katedrą uczenia maszynowego na University College London.

Według Bloomberga Graepel zbiera na Metis rundę rzędu kilkunastu–kilkudziesięciu milionów dolarów. Kolejna, na kilkaset milionów przy wyższej wycenie, jest już planowana.

Nie jest w tym odosobniony. David Silver założył Ineffable Intelligence i zamknął największą rundę seed wśród europejskich start-upów. Tim Rocktäschel współtworzył Recursive, wyceniany obecnie na 4,65 mld dolarów. Według Financial Times DeepMind rozwiązał zespół AlphaFold, a John Jumper, noblista, odszedł z dwoma współpracownikami do Anthropic. CNBC tłumaczy odpływ talentów częściowo ograniczonym dostępem do układów TPU i biurokracją.