LLM

LLMR & D

kvcached: Elastyczne zarządzanie pamięcią GPU kluczem do efektywniejszego serwowania dużych modeli językowych

Model kvcached, opracowany przez badaczy z University of California w Berkeley we współpracy z Rice University i UCLA oraz z wkładem ekspertów z NVIDIA i Intela, to nowa biblioteka, która rewolucjonizuje zarządzanie pamięcią GPU w kontekście serwowania dużych modeli językowych (LLM). Wprowadza ona wirtualizację pamięci KV cache, umożliwiając elastyczne przydzielanie zasobów i optymalizując ich wykorzystanie w dynamicznych środowiskach.

Read More
LLMSocial media

Degradacja modeli językowych przez treści social media

Nowe badania wskazują, że ekspozycja dużych modeli językowych na niskiej jakości, choć angażujące treści z mediów społecznościowych, prowadzi do spadku ich zdolności poznawczych i etycznych. Zjawisko to, nazywane „gniciem mózgu AI”, stwarza poważne wyzwania dla przyszłego rozwoju sztucznej inteligencji, zwłaszcza w kontekście jej rosnącej roli w generowaniu treści online.

Read More