ByteDance prezentuje Seed-Coder: Nowe podejście do szkolenia modeli LLM dla kodu

Współczesne modele językowe, zwłaszcza te wyspecjalizowane w generowaniu kodu, w dużej mierze polegają na jakości i skali danych treningowych. Tradycyjne metody, opierające się na ręcznym filtrowaniu i heurystycznych zasadach, okazały się czasochłonne, podatne na błędy i trudne do skalowania, szczególnie w przypadku wielu języków programowania. Najnowsze osiągnięcia w tej dziedzinie pokazują jednak, że przyszłość może należeć do podejść zautomatyzowanych, minimalizujących ludzką interwencję.

Przełom w kuracji danych dla Code LLM

Naukowcy z ByteDance stanęli przed wyzwaniem typowym dla branży: jak efektywnie pozyskać i przetworzyć ogromne ilości danych kodu źródłowego wysokiej jakości. Ich odpowiedzią jest Seed-Coder – rodzina ośmiomiliardowych (8B) modeli LLM, dostępnych w wersji bazowej, instrukcyjnej oraz rozumującej. Kluczową innowacją jest tutaj podejście „model-centric”, które całkowicie zmienia paradygmat tworzenia korpusów danych.

Zamiast polegać na zespołach inżynierów tworzących złożone reguły filtrowania, Seed-Coder wykorzystuje same modele LLM do oceny i selekcji danych z publicznie dostępnych źródeł, takich jak GitHub i inne witryny związane z kodem. Wyeliminowanie manualnego procesu selekcji danych pozwala na radykalne zwiększenie skali. Rezultatem jest bezprecedensowy zbiór danych treningowych, składający się z około 6 bilionów tokenów. Ten gigantyczny korpus danych powstaje dzięki dwuetapowemu procesowi. Najpierw usuwane są pliki z błędami składniowymi lub nieodpowiednią treścią. Następnie, kluczowe dla jakości okazuje się wykorzystanie dużych modeli językowych do oceny i punktowania pozostałych danych, co zapewnia ich wysoką jakość bez konieczności ręcznie tworzonych reguł.

Dwustopniowe szkolenie i zaawansowane fine-tuning

Proces wstępnego szkolenia Seed-Codera przebiega w dwóch etapach. Początkowo model uczy się na danych podstawowych, zawierających kod i dane z sieci. W drugim etapie, Seed-Coder poznaje bardziej złożone struktury, w tym pełne repozytoria i zadania wymagające długiego kontekstu, takie jak uzupełnianie kodu w środku bloku. To dwufazowe podejście ma na celu kompleksowe zwiększenie zdolności modelu do rozumienia i generowania kodu.

Po wstępnym szkoleniu, modele Seed-Codera przechodzą dalsze udoskonalenia. Model instrukcyjny jest fine-tuningowany przy użyciu syntetycznych danych instrukcyjnych, generowanych i filtrowanych przez inne LLM. Ten proces, wspomagany przez Optymalizację Bezpośrednich Preferencji (DPO), pozwala modelowi lepiej rozumieć i wykonywać złożone polecenia użytkownika. Z kolei model rozumujący, przeznaczony do rozwiązywania wieloetapowych problemów, korzysta z techniki wzmocnionego uczenia opartej na „Long-Chain-of-Thought” (LongCoT). Ta metoda wzmacnia jego zdolności do logicznego rozumowania w złożonych scenariuszach kodowania, co jest kluczowe dla aplikacji wymagających głębszego zrozumienia struktury i zależności w kodzie.

Wyniki testów: Seed-Coder wyprzedza konkurencję

W ocenie wydajności, trzy warianty Seed-Codera – bazowy, instrukcyjny i rozumujący – wykazały wyjątkowe rezultaty w różnorodnych zadaniach programistycznych. Model bazowy, pomimo swojego rozmiaru, przewyższył inne otwarte modele porównywalnej wielkości w zadaniach generowania kodu, uzyskując znakomite wyniki w benchmarkach takich jak HumanEval i MultiPL-E.

Model instrukcyjny wyróżnił się w zadaniach edycji kodu i wykonywania instrukcji, dominując w takich testach jak CodeEditorBench i FullStack. Największe wrażenie robi jednak model rozumujący, który dzięki technikom LongCoT zademonstrował niezwykłe zdolności rozwiązywania wieloetapowych problemów, zwłaszcza w wymagających benchmarkach, jak LiveCodeBench i Codeforces. W niektórych przypadkach, ten 8-miliardowy model był w stanie przewyższyć modele kilkukrotnie większe, co podkreśla efektywność nowego podejścia do kuracji danych i szkolenia.

Ograniczenia i przyszłe kierunki rozwoju

Mimo imponujących wyników, Seed-Coder ma swoje ograniczenia. W swojej obecnej formie, model wykazuje ograniczone zdolności w zakresie ogólnego rozumienia języka naturalnego. Wynika to z braku szerokich danych internetowych i treści matematycznych w korpusie treningowym, który jest silnie ukierunkowany na kod. ByteDance planuje jednak rozszerzyć rodzinę modeli Seed-Codera i poprawić jego zdolności na różnych poziomach rozmiaru modeli, dążąc do wszechstronniejszego zastosowania. Otwartoźródłowe udostępnienie Seed-Codera ma również na celu zachęcenie społeczności do dalszych badań i innowacji w dziedzinie modeli LLM dla kodu, co może przyspieszyć ogólny postęp w tej dziedzinie.