Pułapka optymalizacji: dlaczego routing modeli AI to coś więcej niż wybór najtańszego dostawcy

Wdrażanie systemów agentowych w firmach zaczyna się od prostego założenia: wystarczy stworzyć inteligentny przełącznik, który przekieruje proste pytania do tanich modeli, a skomplikowane do potężnych jednostek typu GPT-4 lub Claude Opus. Teoretycznie zyskujemy niskie koszty i wysoką jakość. Praktyka inżynierów z IBM Research pokazuje jednak, że to, co na papierze wygląda na prosty problem klasyfikacji, w rzeczywistości jest wielowymiarowym wyzwaniem optymalizacyjnym.

Dlaczego to ważne właśnie teraz? W miarę jak firmy skalują użycie AI, koszty tokenów stają się realną pozycją w budżecie IT. Routing traktowany jako audytowalna optymalizacja wielokryterialna pozwala nie tylko oszczędzać, ale też utrzymać kontrolę nad danymi w granicach konkretnych jurysdykcji (data residency), co jest niezbędne w uregulowanych prawnie branżach.

Ukryte koszty i paradoks cennika

Rzeczywiste koszty operacyjne niemal nigdy nie pokrywają się z oficjalnymi cennikami. Przykładem jest zestawienie modelu GPT-4.1 z Claude Sonnet 4.6. Choć ten pierwszy oferuje niższe stawki za tysiąc tokenów, w testach na platformie AppWorld okazał się niemal dwukrotnie droższy w eksploatacji. Kluczem do zagadki jest mechanizm buforowania (caching). Nowoczesne systemy wielokrotnie przetwarzają te same fragmenty kontekstu. Jeśli infrastruktura oferuje zniżki za odczyt z pamięci podręcznej, teoretycznie droższy model może ostatecznie wygenerować niższy rachunek. Jak zauważa Topaz w publikacji na arXiv: „Modele osiągają znaczne zyski wydajności dzięki podejściu cost-aware i optymalizacji wielocelowej”.

Złożoność, której nie widać gołym okiem

Mitem jest przekonanie, że trudność zadania można łatwo ocenić w momencie otrzymania zapytania. Zlecenie podsumowania kontraktu może wydawać się trywialne, dopóki system nie odkryje, że wymaga ono wielokrotnych odwołań do zewnętrznych baz danych. Z kolei pozornie trudne zapytanie techniczne może błyskawicznie rozwiązać mały, wyspecjalizowany model.

W środowisku korporacyjnym dochodzą zmienne pozamerytoryczne. Modele wybiera się nie tylko pod kątem jakości, ale też polityki prywatności czy aktualnej dostępności infrastruktury. Inteligentny router musi stać się logistykiem, który w ułamku sekundy balansuje między wydajnością a prawem. Według analiz IBM Research, takie podejście to jedyna droga do stabilnych systemów produkcyjnych.

Infrastruktura ważniejsza od parametrów

Opóźnienia odczuwane przez użytkownika zależą w mniejszym stopniu od rozmiaru modelu, a w większym od stanu infrastruktury. „Ciepły” cache, obciążenie konkretnego punktu końcowego czy sam narzut generowany przez router to czynniki krytyczne. Decyzja o routingu na każdym etapie procesu (krok po kroku) daje elastyczność, ale drastycznie zwiększa złożoność operacyjną.

Eksperci sugerują zmianę myślenia: router nie powinien szukać najlepszego modelu, lecz optymalnego punktu pracy całego systemu. Zastosowanie lekkich algorytmów optymalizacyjnych, które zużywają minimalne zasoby (rzędu 6 ms i 2 kB pamięci), pozwala na uzyskanie wysokiej precyzji przy jednoczesnej redukcji kosztów o ponad 20%. To dowód na to, że routing to przede wszystkim zaawansowana inżynieria systemowa, a nie tylko zabawa promptami.