Infrastruktura AI na rozdrożu: koszty inferencji wymuszają decentralizację

Pomimo rosnących inwestycji w sztuczną inteligencję w regionie Azji i Pacyfiku, wiele przedsiębiorstw napotyka trudności w realizacji realnych korzyści ze swoich projektów AI. Kluczową barierą okazuje się infrastruktura, która w obecnej formie często nie jest w stanie sprostać wymaganiom dotyczącym szybkości i skali inferencji, czyli procesu wnioskowania modeli AI w czasie rzeczywistym. Eksperci zwracają uwagę, że liczne projekty GenAI nie osiągają zakładanych celów zwrotu z inwestycji, mimo znaczących nakładów finansowych, co podkreśla krytyczne znaczenie odpowiedniego zaplecza technologicznego.

Ta dysproporcja wyraźnie pokazuje, jak bardzo infrastruktura AI wpływa na wydajność, koszty i zdolność do skalowania wdrożeń w środowisku produkcyjnym. Akamai, we współpracy z NVIDIĄ, stara się sprostać temu wyzwaniu poprzez platformę Inference Cloud, bazującą na najnowszych procesorach Blackwell GPU. Podstawą tej koncepcji jest prosta idea: jeśli większość aplikacji AI wymaga podejmowania decyzji w czasie rzeczywistym, to powinny one być podejmowane jak najbliżej użytkownika, a nie w odległych centrach danych. Akamai podkreśla, że takie podejście może znacząco obniżyć koszty, zredukować opóźnienia i wspierać usługi AI wymagające błyskawicznych reakcji.

Dlaczego projekty AI zawodzą bez odpowiedniej infrastruktury?

Jay Jenkins, dyrektor do spraw technologii chmurowych w Akamai, w rozmowie z AI News wyjaśnił, dlaczego obecna sytuacja zmusza przedsiębiorstwa do ponownego przemyślenia strategii wdrożeń AI i dlaczego inferencja, a nie trening modeli, stała się prawdziwym wąskim gardłem. Jenkins zauważa, że przepaść między fazą eksperymentów a pełnoskalowym wdrożeniem jest znacznie większa, niż wiele organizacji przewiduje. „Wiele inicjatyw AI nie przynosi oczekiwanej wartości biznesowej, ponieważ firmy często nie doceniają luki między eksperymentami a produkcją” – mówi. Rosnące koszty infrastruktury, wysokie opóźnienia i trudności w skalowaniu modeli w środowisku produkcyjnym często blokują postęp, nawet pomimo dużego zainteresowania generatywną AI.

Większość firm nadal opiera się na scentralizowanych chmurach i dużych klastrach GPU. Jednak wraz z dynamicznym wzrostem wykorzystania AI, takie konfiguracje stają się zbyt kosztowne, szczególnie w regionach oddalonych od głównych stref chmurowych. Problemem staje się również latencja, gdy modele muszą przeprowadzać wiele kroków inferencji na duże odległości. „AI jest tak potężna, jak infrastruktura i architektura, na której działa” – podkreśla Jenkins, dodając, że opóźnienia często osłabiają doświadczenia użytkowników i wartość, którą firma miała nadzieję dostarczyć. Wskazuje również na złożone konfiguracje multicloud, skomplikowane regulacje dotyczące danych i rosnące wymogi zgodności jako typowe przeszkody, które spowalniają przejście od projektów pilotażowych do produkcyjnych wdrożeń.

Inferencja – nowe wąskie gardło zamiast treningu

W regionie Azji i Pacyfiku wdrożenia AI ewoluują od małych projektów pilotażowych do pełnoprawnych aplikacji i usług. Jenkins zauważa, że w tym kontekście to codzienna inferencja – a nie sporadyczne cykle treningowe – konsumuje większość mocy obliczeniowej. W miarę jak wiele organizacji wdraża modele językowe, wizyjne i multimodalne na różnych rynkach, zapotrzebowanie na szybką i niezawodną inferencję rośnie szybciej, niż zakładano. To właśnie to czyni inferencję głównym ograniczeniem w regionie. Modele muszą teraz sprawnie działać w różnych językach, w zgodzie z różnymi regulacjami i w zróżnicowanych środowiskach danych, często w czasie rzeczywistym. To wywiera ogromną presję na scentralizowane systemy, które nigdy nie były projektowane z myślą o takim poziomie responsywności.

Zalety infrastruktury brzegowej w kontekście AI

Jenkins twierdzi, że przeniesienie inferencji bliżej użytkowników, urządzeń lub agentów może całkowicie zmienić równanie kosztów. Skraca to drogę, którą dane muszą pokonać, a tym samym pozwala modelom reagować szybciej. Eliminuje również koszty związane z przesyłaniem ogromnych ilości danych między głównymi węzłami chmurowymi.

Fizyczne systemy AI – roboty, autonomiczne maszyny czy narzędzia inteligentnych miast – często opierają się na decyzjach podejmowanych w milisekundach. Kiedy inferencja odbywa się w odległym centrum danych, systemy te nie działają tak, jak oczekiwano.

Oszczędności płynące z bardziej zlokalizowanych wdrożeń mogą być również znaczące. Analizy Akamai pokazują, że przedsiębiorstwa w Indiach i Wietnamie odnotowują duże redukcje kosztów uruchamiania modeli generujących obrazy, gdy obciążenia pracy są umieszczane na brzegu sieci, a nie w scentralizowanych chmurach. Lepsze wykorzystanie GPU i niższe opłaty za ruch wychodzący z chmury (tzw. egress fees) odegrały w tych oszczędnościach kluczową rolę.

Gdzie AI na brzegu sieci zyskuje na znaczeniu?

Początkowe zapotrzebowanie na inferencję brzegową jest najsilniejsze w branżach, gdzie nawet niewielkie opóźnienia mogą negatywnie wpływać na generowane przychody, bezpieczeństwo lub zaangażowanie użytkowników. Handel detaliczny i e-commerce to jedni z pierwszych beneficjentów, ponieważ klienci często rezygnują z interakcji, gdy doświadczają opóźnień. Spersonalizowane rekomendacje, wyszukiwanie i multimodalne narzędzia zakupowe działają znacznie lepiej, gdy inferencja jest lokalna i szybka.

Finanse to kolejna dziedzina, w której latencja ma bezpośredni wpływ na wartość. Jenkins zauważa, że zadania takie jak weryfikacja oszustw, zatwierdzanie płatności czy ocena transakcji bazują na łańcuchu decyzji podejmowanych przez AI, które powinny następować w milisekundach. Uruchamianie inferencji bliżej miejsca generowania danych pomaga firmom finansowym działać szybciej i utrzymywać dane w granicach regulacyjnych.

Znaczenie partnerstw chmurowych i z producentami GPU

Wraz ze wzrostem obciążeń pracy AI, firmy potrzebują infrastruktury, która jest w stanie sprostać tym wymaganiom. Jenkins podkreśla, że doprowadziło to do zacieśnienia współpracy między dostawcami usług chmurowych a producentami GPU. Przykładowym jest projekt Akamai z NVIDIĄ, gdzie procesory graficzne (GPU), procesory danych (DPU) i oprogramowanie AI są wdrażane w tysiącach lokalizacji brzegowych.

Celem jest zbudowanie „sieci dostaw AI”, która rozprasza inferencję na wiele lokalizacji zamiast koncentrować wszystko w kilku regionach. Poprawia to wydajność, ale także wspiera zgodność z przepisami. Jenkins zauważa, że prawie połowa dużych organizacji w regionie APAC boryka się z różnicami w regulacjach dotyczących danych na różnych rynkach, co zwiększa znaczenie lokalnego przetwarzania. Rozwijające się partnerstwa kształtują obecnie kolejną fazę rozwoju infrastruktury AI w regionie, szczególnie w przypadku obciążeń pracy wymagających niskich opóźnień.

Jenkins zaznacza, że bezpieczeństwo jest wbudowane w te systemy od samego początku. Kontrole zero-trust, inteligentne routowanie danych i zabezpieczenia przed oszustwami czy atakami botów stają się standardowymi elementami oferowanych stosów technologicznych.

Wymagania infrastrukturalne dla AI agentowej i automatyzacji

Uruchamianie systemów agentowych – które podejmują wiele decyzji sekwencyjnie – wymaga infrastruktury działającej z milisekundową precyzją. Jenkins uważa, że różnorodność regionu czyni to trudniejszym, ale nie niemożliwym. Kraje znacząco różnią się pod względem łączności, przepisów i gotowości technologicznej, dlatego obciążenia pracy AI muszą być wystarczająco elastyczne, aby działać tam, gdzie ma to największy sens. Wskazuje on na badania, które pokazują, że większość przedsiębiorstw w regionie już wykorzystuje publiczną chmurę w produkcji, ale wiele z nich w perspektywie do 2027 roku planuje polegać na usługach brzegowych. Ta zmiana będzie wymagała infrastruktury, która może przechowywać dane w kraju, kierować zadania do najbliższej odpowiedniej lokalizacji i funkcjonować, gdy sieci są niestabilne.

Jak przygotować się na nadchodzące zmiany?

W miarę jak inferencja przesuwa się na brzeg sieci, firmy będą potrzebować nowych sposobów zarządzania operacjami. Jenkins przewiduje bardziej rozproszony cykl życia AI, gdzie modele są aktualizowane w wielu lokalizacjach. Wymaga to lepszej orkiestracji i silnego wglądu w wydajność, koszty i błędy zarówno w systemach centralnych, jak i brzegowych.

Zarządzanie danymi staje się bardziej złożone, ale jednocześnie łatwiejsze do kontroli, gdy przetwarzanie pozostaje lokalne. Połowa dużych przedsiębiorstw w regionie już teraz boryka się z rozbieżnościami w regulacjach, więc umiejscowienie inferencji bliżej miejsca generowania danych może pomóc. Bezpieczeństwo również wymaga większej uwagi. Rozproszenie inferencji na brzeg sieci może poprawić odporność, ale oznacza również, że każda lokalizacja musi być odpowiednio zabezpieczona. Firmy muszą chronić API, potoki danych i zabezpieczać się przed oszustwami czy atakami botów. Jenkins zauważa, że wiele instytucji finansowych już teraz polega na kontrolach Akamai w tych obszarach.