REKI: model sterowania robotem z pamięcią trzech klatek i otwartymi wagami

Instytut Kyutai we współpracy z Inrią i École des Ponts udostępnił REKI — model typu vision-language-action (VLA) przeznaczony do manipulacji robotycznej. System liczy 2,4 mld parametrów i łączy obraz z kamer oraz polecenia tekstowe w sekwencje ruchów ramienia. Wagi modelu opublikowano na licencji CC BY-NC-SA 4.0, co umożliwia badania i eksperymenty, ale wyklucza zastosowania komercyjne.

Architektura REKI składa się z modelu bazowego Qwen3.5-2B, który przetwarza tekst i obraz, oraz wyspecjalizowanego eksperta ruchu o wielkości 200 mln parametrów. Część motoryczna generuje trajektorie działań metodą flow matching w dziesięciu krokach obliczeniowych. Zamiast podejmować decyzje wyłącznie na podstawie bieżącego kadru, model uwzględnia także trzy wcześniejsze klatki oddalone od siebie o sekundę.

Pamięć wbudowana w eksperta ruchu

Twórcy nie przekazują archiwalnych obrazów przez całą sieć wizyjną przy każdym kroku. Zamiast tego przed tokenami działań dla danej klatki umieszczają 32 wyuczone tokeny rejestrowe. Zapisują one zakodowaną reprezentację obserwacji i mogą odwoływać się do rejestrów z poprzednich klatek w przesuwanym oknie pamięci.

Według danych przedstawionych przez Kyutai odczyt zapisanych rejestrów wydłuża generowanie porcji działań zaledwie o 0,1 ms, a każda zapamiętana klatka zajmuje około 2 MiB pamięci GPU. Zastosowanie historii obserwacji wpłynęło na stabilność trajektorii: w symulacji RoboTwin udział epizodów, w których ramię robota oscylowało w miejscu między dwiema pozycjami, spadł z 18,6 do 4,1 proc. Zjawisko to pojawia się, gdy zbliżone wizualnie sceny wymagają odmiennych akcji na kolejnych etapach zadania.

Mieszane wyniki w benchmarkach

W testach symulacyjnych REKI osiąga zróżnicowane rezultaty w zależności od środowiska. W zestawieniu Kyutai model uzyskał 90,4 proc. skuteczności na LIBERO-Plus, wyprzedzając Qwen-RobotManip (89,0 proc.) i π0.5 (85,7 proc.). Warto jednak zauważyć, że w publikacji autorów Qwen-RobotManip wynik modelu π0.5 określono na 84,4 proc., co wskazuje na różnice w procedurach ewaluacyjnych.

W teście RoboTwin Clean2Rand REKI uzyskał 65,8 proc., ustępując modelowi Qwen-RobotManip (68,5 proc.). Z kolei na platformie RoboCasa365 model osiągnął 38,4 proc., notując wyższy wynik niż RLDX-1 (36,0 proc.) oraz Qwen-RobotManip (35,9 proc.). Wprowadzenie pamięci przyniosło w tych testach umiarkowany wzrost ogólnej skuteczności — o 1,5 punktu procentowego na LIBERO-Plus oraz o 5,4 punktu na RoboCasa365.

Kyutai informuje również o poprawie wyników dzięki pamięci na rzeczywistym robocie, szczególnie podczas dłuższych, wieloetapowych zadań. W dostępnych materiałach nie podano jednak ilościowych wyników tych testów.

Wymagania sprzętowe i wdrożenie

Szkolenie wstępne REKI przeprowadzono na publicznych zbiorach danych obejmujących łącznie miliard klatek — głównie demonstracji ze sterowania robotami, symulacji oraz nagrań z perspektywy człowieka. Następnie model dostrajano osobno do poszczególnych benchmarków. W jednym z przykładów dostrajania model trenowano na ramieniu UR5, wykorzystując 50 demonstracji na zadanie — proces ten trwał około godziny na jednym węźle.

Czas generowania porcji działań wynosi 21,8 ms, jednak pomiar ten wykonano na pojedynczym akceleratorze NVIDIA H100 po wcześniejszej kompilacji grafu obliczeniowego, przy strumieniu z dwóch kamer o rozdzielczości 256 × 256 pikseli. Wagi udostępniono w formacie BF16 bez domyślnej kwantyzacji, co oznacza, że bezpośrednie uruchomienie modelu wymaga wydajnego układu graficznego.