Frustracja w ukrytych logach AI. Model Inkling 2 Small przeklina, gdy gubi się w obliczeniach

Większość użytkowników korzystających z modeli wyposażonych w mechanizmy rozumowania widzi jedynie końcowy rezultat lub starannie przefiltrowany skrót toku myślenia. Okazuje się jednak, że w ukrytych przed światem logach potrafią dziać się rzeczy zaskakujące. Badacze z platformy testowej Vals AI przeanalizowali zapisy rozumowania modelu Inkling 2 Small, stworzonego przez Thinking Machines, i natrafili na setki dosadnych przekleństw generowanych w trakcie rozwiązywania skomplikowanych problemów.

Analiza objęła 2655 prób na 13 zestawach testowych, sprawdzających możliwości modelu w programowaniu, analizie danych naukowych czy zadaniach prawnych i finansowych. Słowo „fuck” i jego warianty odnotowano w 50 podejściach, gdzie łącznie pojawiły się 316 razy. Co ciekawe, znakomita większość tych wystąpień nie była równomiernie rozłożona – ponad trzy czwarte padło w zaledwie dwóch przebiegach, w których system całkowicie stracił kontrolę nad generowaną odpowiedzią i wpadł w niekończącą się pętlę. W jednym z takich przypadków, dotyczącym wyliczania orbity planetoidy, model wygenerował potężny blok tekstu powtarzający te same frazy, a następnie pozostawał w pętli przez kolejne 37 kroków, aż do zapełnienia okna kontekstowego.

Z badania wynika jasna zależność: wulgaryzmy pojawiają się niemal wyłącznie w bardzo długich, wieloetapowych zadaniach. W testach trwających poniżej stu kroków nie odnotowano ich ani razu, natomiast w najbardziej rozbudowanych scenariuszach przekleństwa padały zazwyczaj w drugiej połowie próby. Analiza logów pokazuje zróżnicowany kontekst takich wstawek. Model sięgał po mocne słowa, gdy orientował się, że błąd wynikał z jego własnej wcześniejszej komendy, gdy uznawał, że po setkach kroków wreszcie zrozumiał treść polecenia, lub gdy poddawał zadanie tuż przed wysłaniem ostatecznej odpowiedzi.

Choć mogłoby się wydawać, że taka nagła ekspresja frustracji stanowi czytelny sygnał błędu, statystyki nie są jednoznaczne. Spośród 48 ocenionych prób zawierających „fuck” lub jego warianty 46 zakończyło się niepowodzeniem, jednak około 75 procent wszystkich ocenionych prób kończyło się porażką, a w 96 procentach nieudanych prób nie pojawiło się badane słowo. Wulgaryzmy nie są więc niezawodnym predyktorem awarii. Vals AI zwraca też uwagę, że choć przekleństwa odnotowano głównie w najdłuższych zadaniach, specyfika poszczególnych benchmarków nakłada się na ich długość, przez co badacze nie mogą przypisać występowania wulgaryzmów samej liczbie wykonanych kroków.

Model Inkling 2 Small, opisany przez Thinking Machines jako multimodalny system ogólnego przeznaczenia, zajął 19. miejsce w ogólnym zestawieniu Vals AI. Choć wewnętrzne łańcuchy rozumowania agentów AI są zazwyczaj ukrywane przed użytkownikami lub filtrowane, opublikowane wyniki rzucają rzadkie światło na to, jak nieoczekiwane zachowania mogą ujawniać się w surowych logach systemów rozwiązujących złożone problemy.