Qualcomm skraca łańcuchy tokenów: modele AI trafiają do smartfonów

Współczesne modele językowe o zdolnościach wnioskowania, takie jak rodzina o1 czy DeepSeek-R1, borykają się z problemem specyficznej gadatliwości. Zanim udzielą odpowiedzi, generują tysiące tokenów w ramach tzw. łańcucha myśli (Chain of Thought). O ile w potężnych centrach danych jest to akceptowalny koszt precyzji, o tyle dla smartfonów stanowi barierę nie do przejścia – drenuje baterię, zajmuje pamięć RAM i generuje ogromne opóźnienia. Qualcomm AI Research przedstawił jednak rozwiązanie, które pozwala skompresować ten proces 2,4-krotnie bez istotnej utraty jakości odpowiedzi.

Walka z cyfrowym „overthinkingiem”

Badacze zidentyfikowali zjawisko określane jako „epistemiczne wahanie”, znane szerzej jako „overthinking” (nadmierne rozmyślanie). Modele często docierają do poprawnego rozwiązania niemal natychmiast, po czym spędzają setki cykli na obsesyjnym sprawdzaniu własnych wyników w nieskończonych pętlach autokorekty. System Qualcomm wykorzystuje uczenie wzmacniane (reinforcement learning), które nakłada kary za zbyt długie odpowiedzi. Efekty są wymierne: w zadaniach algebraicznych, gdzie bazowy model potrzebował ponad 3100 tokenów, zoptymalizowana wersja radzi sobie w zaledwie 810, zachowując niemal identyczną trafność.

Modułowość zamiast gigantomanii

Zamiast trenować potężny model od zera, inżynierowie postawili na podejście modułowe z wykorzystaniem adapterów LoRA. Fundamentem jest standardowy, lekki model językowy, do którego „doczepia się” specjalistyczne warstwy wnioskujące zajmujące zaledwie 4% parametrów całości. Taka architektura pozwala urządzeniu decydować w ułamku sekundy, czy pytanie użytkownika wymaga głębokiego namysłu, czy wystarczy szybka odpowiedź wygenerowana niskim kosztem energetycznym.

Kluczowym wyzwaniem pozostawała precyzja. Aby system faktycznie działał na telefonie, wagi modelu muszą zostać skompresowane do 4 bitów. Qualcomm odkrył, że kluczem do sukcesu jest trenowanie adapterów wnioskujących bezpośrednio na już skompresowanym modelu. Próby łączenia gotowych modułów z odchudzonym fundamentem kończyły się generowaniem bełkotu. Dzięki nowej metodzie, spadek celności w porównaniu do pełnowymiarowych wersji wynosi zaledwie 2%, co jest ceną w pełni akceptowalną za możliwość pracy całkowicie offline.

Prywatność kontra dominacja chmury

Lokalne uruchamianie zaawansowanego AI to nie tylko kwestia technicznej ambicji, ale przede wszystkim strategiczna odpowiedź na obawy o prywatność. W przeciwieństwie do rozwiązań takich jak Google Personal Intelligence, które przesyłają dane z maili czy kalendarzy na serwery, propozycja Qualcomm zakłada, że „mózg” asystenta pozostaje wewnątrz Snapdragona. Latencja spada, a wrażliwe informacje nigdy nie opuszczają urządzenia.

Pozostaje jednak pytanie o wdrożenie. Mimo udostępnienia dziesiątek zoptymalizowanych modeli, producenci smartfonów wciąż chętnie polegają na rozwiązaniach chmurowych przy głębokiej integracji systemowej. Przełom Qualcomm pokazuje, że bariera sprzętowa zaczyna znikać – teraz piłka jest po stronie deweloperów oprogramowania, którzy muszą zdecydować, czy zaufają lokalnym algorytmom tak bardzo, jak ufają serwerom gigantów.