Głos jako narzędzie, nie gadżet. Vellum rzuca wyzwanie natywnym modelom AI

Vellum nie chce być kolejną aplikacją do pogaduszek z botem. Kiedy OpenAI i Google ścigają się w tworzeniu natywnych modeli audio, zespół stojący za tym projektem stawia na pragmatyczną architekturę kaskadową. Cel? Stworzenie asystenta, który zamiast emulować emocje, realnie wykonuje zadania w systemach macOS czy iOS. To podejście sprawia, że głos staje się pełnoprawnym interfejsem do obsługi skomplikowanej logiki agentowej, a nie tylko efektowną zabawką.

Dlaczego to ma znaczenie właśnie dziś? W zalewie chatbotów, które potrafią jedynie generować tekst, Vellum przesuwa środek ciężkości w stronę autonomii. Vellum udowadnia, że klasyczne podejście do przetwarzania mowy, wsparte pętlą agentową, pozwala na znacznie więcej niż najnowsze modele speech-to-speech, które wciąż mają problem z integracją z zewnętrznymi narzędziami i pamięcią długotrwałą. Projekt, rozwijany jako open-source, osiągnął już wersję 0.8.6 pod koniec maja i pokazuje, że przyszłość AI leży w działaniu, a nie samej konwersacji.

Architektura kaskadowa kontra modele natywne

W przeciwieństwie do rozwiązań audio-in i audio-out, inżynierowie Vellum wybrali strukturę kaskadową: Deepgram zajmuje się transkrypcją, a ElevenLabs syntezą mowy. „Zdecydowaliśmy się zachować klasyczną kaskadę, tę, która zawsze wydawała się robotyczna: transkrybuj mowę, uruchom pełną pętlę agenta, zsyntetyzuj odpowiedź” – tłumaczą twórcy na oficjalnym blogu. Ten wybór to nie technologiczne zacofanie, a chłodna kalkulacja. Natywne modele audio ograniczają obecnie dostęp do zewnętrznych API i systemów akceptacji zadań przez użytkownika.

Dzięki takiemu podejściu asystent operuje na tym samym zestawie ponad 60 dostępnych umiejętności, niezależnie od kanału komunikacji. Czy rozmawiasz z nim głosowo przez iPhone’a, czy piszesz na Slacku – system ma dostęp do tej samej pamięci i narzędzi. Podczas gdy Ty mówisz, AI potrafi w tle przeszukiwać sieć, zarządzać kalendarzem czy nanosić poprawki w kodzie.

Inżynieria płynnej konwersacji bez opóźnień

Głównym wrogiem modeli kaskadowych jest latencja. Vellum radzi sobie z tym poprzez spekulatywne uruchamianie procesów. System zaczyna mielić dane, gdy tylko wykryje ciszę, nie czekając na ostateczne potwierdzenie końca zdania. Jeśli użytkownik tylko zawiesił głos, proces jest przerywany. Aby uniknąć niezręcznej ciszy, asystent na bieżąco relacjonuje postępy prac głosem, co nie trafia do finalnej transkrypcji tekstowej.

Istotnym usprawnieniem jest obsługa przerwań. Zamiast ślepo ufać flagom API, Vellum stosuje 250-milisekundowy bufor na potwierdzenie, że użytkownik faktycznie wszedł w słowo. Eliminuje to błędy generowane przez echo w przeglądarce czy przypadkowe hałasy w tle.

Twoje AI, które faktycznie działa

„To nie jest chatbot. To osobny byt, który pracuje dla Ciebie, uczy się o Tobie i podejmuje realne działania w świecie rzeczywistym” – czytamy w dokumentacji projektu. Za Vellum stoją Akash Sharma, Noa Flaherty i Sidd Seethepalli, którzy kładą duży nacisk na bezpieczeństwo. Wszystkie poświadczenia do usług zewnętrznych są odizolowane w bezpiecznych kontenerach lub systemowym pęku kluczy.

Obecnie narzędzie jest dostępne na macOS, iOS oraz jako bot na Telegramie i Slacku. Twórcy zapowiadają już wersje na Androida i Windowsa, co ma dopełnić wizję wszechobecnej warstwy operacyjnej AI. Vellum to sygnał dla branży: czas przestać rozmawiać o możliwościach, a zacząć budować narzędzia, które po prostu dowożą wyniki.