Liquid AI rzuca wyzwanie benchmarkom. Platforma Pipette pokaże prawdę o modelach na urządzeniach brzegowych
Marketingowa obietnica „potężnej AI na Twoim telefonie” często rozbija się o ścianę rzeczywistości, gdy tylko urządzenie zaczyna się nagrzewać, a system ubija procesy w tle. Liquid AI, we współpracy z Artificial Analysis, postanowiło skończyć z tą zgadywanką. Ich nowa platforma Pipette to otwartoźródłowy zestaw narzędzi, który ma być „dojrzałym nadzorem” nad rynkiem modeli brzegowych, oceniając nie tylko same algorytmy, ale to, jak współpracują one z konkretnym sprzętem i oprogramowaniem.
Dlaczego to ważne teraz
Rynek AI przesuwa się z chmury do naszych kieszeni, ale standardowe testy wydajności wciąż tkwią w sterylnych laboratoriach. Jak podkreśla zespół Liquid AI, większość platform benchmarkowych optymalizuje się pod kątem modeli chmurowych. Pipette odpowiada na rosnącą potrzebę weryfikacji całego stosu wdrożeniowego — od kwantyzacji po fizyczne ograniczenia procesorów mobilnych — co jest kluczowe dla firm chcących budować prywatne i szybkie aplikacje bez połączenia z internetem.
Koniec z ocenianiem modelu w próżni
Kluczową innowacją Pipette jest odejście od mierzenia modelu jako izolowanego bytu. Twórcy wychodzą z założenia, że zachowanie sztucznej inteligencji na urządzeniu jest wypadkową całego systemu. Dlatego jednostką miary w Pipette jest pełna konfiguracja: konkretny model, zastosowana kwantyzacja (np. jeden z siedmiu poziomów w bibliotece llama.cpp), środowisko wykonawcze (runtime) oraz fizyczne urządzenie. Taka metodologia pozwala uniknąć rozczarowań, gdy model o teoretycznie wysokich parametrach staje się bezużyteczny po wdrożeniu na konkretny procesor.
Już na starcie platforma oferuje potężny zestaw danych obejmujący ponad 1000 różnych konfiguracji i przeszło 10 tysięcy wyników testowych. Testy objęły około 35 klas modeli od różnych dostawców dla systemów macOS, iOS, Windows oraz Android, a także zróżnicowane długości kontekstu – od 256 do 8192 tokenów. Pierwsze zweryfikowane wyniki pochodzą z tak nowoczesnych urządzeń jak MacBook Pro z procesorem M5 Max, iPhone 17 Pro oraz Samsung Galaxy S26 Ultra.
Zaskakujące różnice w wydajności
Dane zebrane przez Pipette obalają wiele rynkowych mitów. Jednym z najciekawszych przykładów jest porównanie dwóch modeli o rozmiarze 350M parametrów na tym samym smartfonie. Przy kwantyzacji Q4_K_M i kontekście 4096 tokenów, jeden z nich zachował 78,4% swojej bazowej przepustowości, podczas gdy drugi zaledwie 33,8%. To dowód na to, że sama liczba parametrów nie mówi nam nic o tym, jak model poradzi sobie z dłuższymi zapytaniami w warunkach mobilnych.
Innym ważnym wnioskiem jest fakt, że rzadka aktywacja (sparse activation) przyspiesza działanie, ale nie redukuje wymagań pamięciowych. Model LFM2.5-8B-A1B musi wciąż utrzymywać wszystkie wagi w pamięci RAM, co przy 8,5 miliarda parametrów wiąże się z obciążeniem rzędu 5,29 GiB. Pipette pokazuje jasno: szybkość może przypominać mały model, ale budżet pamięciowy pozostaje bezlitosny.
Narzędzie dla inżynierów, nie tylko dla badaczy
Jak twierdzi Liquid AI: „Pipette daje branży wspólny, powtarzalny sposób na mierzenie jakości, szybkości, latencji i zużycia pamięci AI na telefonach, laptopach, PC czy sprzęcie embedded”. Projekt udostępniono na licencji Apache 2.0, co oznacza, że jest w pełni dostępny dla społeczności. System składa się z komponentów zarządzających, klientów oraz modułów punktujących. Jest to rozwiązanie skalowalne – od pojedynczych deweloperów korzystających z publicznego dashboardu, po producentów OEM, którzy mogą uruchomić cały proces pomiarowy za własnym firewallem.
Metodologia testów jest rygorystyczna. Przed każdą serią pomiarów system sprawdza warunki termiczne i aktualne obciążenie urządzenia. Jeśli sprzęt jest zbyt nagrzany, wynik nie trafi do bazy. Dzięki temu Pipette staje się wiarygodnym punktem odniesienia dla branży motoryzacyjnej, medycznej czy finansowej – wszędzie tam, gdzie prywatność i niskie opóźnienia wymuszają rezygnację z chmury na rzecz lokalnego przetwarzania danych.
