Prime Intellect dopisał backward pass do kernela Mega MoE od DeepSeeka. Trening modeli MoE szybszy o jedną trzecią
Prime Intellect rozszerzył fused kernel Mega MoE z biblioteki DeepGEMM o szybki, nakładający się na komunikację backward pass. Dzięki temu rozwiązanie z inferencji nadaje się do treningu, a pełny krok na modelach Qwen3 MoE skraca się według firmy o 32–34%.
Read More