Technologia

LLM

SwiReasoning — sterowanie „myśleniem” modeli przez entropię daje lepszą efektywność i szybszą konwergencję

SwiReasoning to procedura dekodowania, która w czasie rzeczywistym decyduje, kiedy model ma „myśleć w ukrytej przestrzeni”, a kiedy wypisywać jawny chain-of-thought. Metoda, nie wymagająca dodatkowego treningu, wykorzystuje trendy entropii rozkładów kolejnych tokenów jako sygnał pewności i według autorów zwiększa zarówno dokładność, jak i efektywność tokenową w zadaniach matematycznych i STEM.

Read More