MIT prezentuje SEAL: przełom w samodzielnej adaptacji modeli językowych

Współczesne duże modele językowe (LLM), mimo imponujących zdolności, nadal borykają się z wyzwaniem efektywnej adaptacji do nowych zadań i ciągłego przyswajania wiedzy. Standardowe metody, takie jak dostrajanie (finetuning) czy uczenie w kontekście (in-context learning), często okazują się niewystarczające, gdy dane wejściowe nie są optymalnie sformatowane, lub gdy model potrzebuje głęboko zinternalizować nową informację. Ta statyczność LLM-ów stała się motywacją dla zespołu badawczego z MIT, który opracował przełomowy framework Self-Adapting Language Models (SEAL).

SEAL to koncepcja, która zasadniczo zmienia paradygmat uczenia maszynowego. Zamiast pasywnie przyjmować dostarczone dane, LLM wyposażony w SEAL uczy się aktywnie generować własne dane treningowe oraz instrukcje aktualizujące jego wewnętrzne parametry. Proces ten pozwala modelowi trwale przyswajać nową wiedzę i opanowywać nowe zadania, co stanowi znaczący krok w kierunku prawdziwie autonomicznych i adaptacyjnych systemów AI, szczególnie istotnych w zastosowaniach korporacyjnych.

Wyzwania adaptacji modeli językowych

Obecne metody adaptacji LLM-ów często sprowadzają się do jednorazowego przetwarzania danych. Jeśli jednak asystent programistyczny ma przyswoić wewnętrzny framework danej firmy, a model kontaktujący się z klientem ma adaptować się do preferencji użytkownika w czasie rzeczywistym, proste wyszukiwanie informacji (retrieval) nie jest wystarczające. Wiedza musi zostać „wypieczona” bezpośrednio w wagach modelu, aby trwale wpływać na jego odpowiedzi. „Wiele korporacyjnych zastosowań wymaga czegoś więcej niż tylko przypominania faktów – potrzebują głębszej, trwałej adaptacji,” zauważa Jyo Pari, doktorantka MIT i współautorka pracy. Dotychczasowym modelom brakowało mechanizmu, który pozwoliłby im rozwijać własne strategie transformacji i uczenia się z nowych informacji w sposób efektywny.

Jak działa SEAL?

Kluczem do działania SEAL jest algorytm uczenia ze wzmocnieniem (RL), który trenuje LLM do generowania „samozmian” (self-edits). Są to instrukcje w języku naturalnym, precyzujące, w jaki sposób model powinien samodzielnie aktualizować swoje wagi. Te „samozmiany” mogą przyjąć formę restrukturyzacji nowych informacji, tworzenia syntetycznych przykładów treningowych, a nawet definiowania parametrów technicznych samego procesu uczenia.

Framework SEAL działa w dwupętlowym systemie. W „pętli wewnętrznej” model wykorzystuje „samozmianę” do wykonania niewielkiej, tymczasowej aktualizacji swoich wag. W „pętli zewnętrznej” system ocenia, czy ta aktualizacja poprawiła wydajność modelu w docelowym zadaniu. Jeśli tak, model otrzymuje pozytywną nagrodę, wzmacniając jego zdolność do generowania skutecznych „samozmian” w przyszłości. W ten sposób LLM staje się ekspertem w samodzielnym nauczaniu.

To podejście łączy w sobie generowanie danych syntetycznych, uczenie ze wzmocnieniem oraz trening bazujący na czasie testowania (TTT). Co więcej, proces ten może być rozdzielony na model „nauczyciel-uczeń”, gdzie wyspecjalizowany model nauczyciela generuje efektywne „samozmiany” dla oddzielnego modelu studenta, co może prowadzić do bardziej wyspecjalizowanych i wydajnych procesów adaptacji w warunkach korporacyjnych.

SEAL w praktyce badawczej

Naukowcy testowali SEAL w dwóch kluczowych obszarach: inkorporacji wiedzy (zdolności do trwałego integrowania nowych faktów) i uczenia z kilku przykładów (few-shot learning). W przypadku inkorporacji wiedzy, celem było sprawdzenie, czy model potrafi odpowiadać na pytania dotyczące fragmentu tekstu bez bezpośredniego dostępu do niego podczas zadawania pytań. Dostrojenie modelu Llama-3.2-1B na surowym tekście przyniosło jedynie marginalną poprawę.

Jednak, gdy model SEAL stworzył „samozmiany” poprzez generowanie kilku „implikacji” z fragmentu i został przeszkolony na tych syntetycznych danych, jego dokładność wzrosła do 47%. Co warte odnotowania, wynik ten przewyższył rezultaty uzyskane za pomocą danych syntetycznych generowanych przez znacznie większy model GPT-4.1, co sugeruje, że model nauczył się tworzyć skuteczniejszy materiał treningowy dla siebie.

W zakresie uczenia z kilku przykładów (few-shot learning), SEAL osiągnął 72,5% skuteczności w rozwiązywaniu zagadek wizualnych z Abstract Reasoning Corpus (ARC), co stanowiło dramatyczną poprawę w porównaniu do 20% bez treningu RL i 0% w przypadku standardowego uczenia w kontekście.

Implikacje dla przedsiębiorstw

Odkrycia związane z SEAL mają ogromne znaczenie dla przyszłości AI w biznesie. Wraz z przewidywanym wyczerpywaniem się zasobów wysokiej jakości, ludzko-generowanych danych treningowych, zdolność modelu do generowania własnego, wartościowego sygnału treningowego staje się coraz bardziej krytyczna. Możliwość, że LLM może przyswoić złożone dokumenty, takie jak artykuły naukowe czy raporty finansowe, i autonomicznie generować tysiące wyjaśnień i implikacji, pozwoli na pogłębianie jego zrozumienia nawet w przypadku rzadkich lub niedostatecznie reprezentowanych tematów.

Ta zdolność jest szczególnie obiecująca dla rozwijania agentów AI. Systemy agentowe muszą stopniowo nabywać i utrzymywać wiedzę w miarę interakcji ze swoim środowiskiem. SEAL dostarcza mechanizmu, który po interakcji umożliwia agentowi syntezowanie „samozmiany” w celu zainicjowania aktualizacji wag, co pozwala mu internalizować zdobyte lekcje. Dzięki temu agent może ewoluować w czasie, poprawiać swoją wydajność w oparciu o doświadczenie i zmniejszyć zależność od statycznego programowania lub ciągłego nadzoru ludzkiego.

Ograniczenia i perspektywy

Pomimo rewolucyjnego potencjału, SEAL nie jest pozbawiony ograniczeń. Jednym z nich jest ryzyko „katastroficznego zapominania”, gdzie ciągłe cykle ponownego treningu mogą prowadzić do utraty wcześniej nabytej wiedzy. Jyo Pari sugeruje hybrydowe podejście, w którym „przedsiębiorstwa powinny selektywnie decydować, która wiedza jest na tyle ważna, by integrować ją na stałe.” Dane faktograficzne i ewoluujące mogą pozostać w pamięci zewnętrznej (przez RAG), natomiast długotrwała wiedza kształtująca zachowanie lepiej nadaje się do aktualizacji wag za pośrednictwem SEAL.

Warto również zauważyć, że dostrojenie przykładów „samozmian” i trening modelu przez SEAL wymaga czasu, co sprawia, że ciągła edycja w czasie rzeczywistym jest w większości środowisk produkcyjnych niepraktyczna. Zamiast tego, przewiduje się model wdrożenia, w którym system zbiera dane przez pewien okres (np. kilka godzin lub dzień), a następnie wykonuje ukierunkowane „samozmiany” podczas zaplanowanych interwałów aktualizacji. Takie podejście pozwoli przedsiębiorstwom kontrolować koszty adaptacji, jednocześnie korzystając z możliwości SEAL w zakresie internalizowania nowej wiedzy.