OpenAI planuje nowe modele przed końcem roku. Premiera flagowca wciąż niepewna

OpenAI może wypuścić przed końcem roku jeden lub dwa nowe modele, jednak nie ma pewności, czy wśród nich znajdzie się rozwijany obecnie flagowiec. Jak wynika z ustaleń „The Information”, powołującego się na osoby zaznajomione z projektami, model wymaga jeszcze prac nad zgodnością jego celów z oczekiwaniami badaczy i klientów. Firma musi także rozbudować infrastrukturę testową, zanim podejmie decyzję o kolejnych krokach.

Nawet po zakończeniu tych przygotowań model czekają dodatkowe oceny bezpieczeństwa. Zgodnie z rozporządzeniem wykonawczym prezydenta Donalda Trumpa dotyczącym testowania zaawansowanych systemów sztucznej inteligencji, OpenAI zobowiązało się udostępniać nowe modele rządowi USA do 30 dni przed przekazaniem ich partnerom zewnętrznym. Publiczne wdrożenie nastąpi dopiero po tym etapie.

W nowym flagowcu firma planuje wykorzystać transformatory rekurencyjne. To technika stosowana już w działających rozwiązaniach OpenAI pod nazwą Recurrent Depth, stanowiąca podstawę modelu Astra. Zamiast jednorazowego przejścia przez warstwy transformera, token przechodzi przez nie wielokrotnie, zanim system wygeneruje kolejne słowo.

Przetwarzanie rekurencyjne pozwala poprawić wyniki w zadaniach matematycznych i programistycznych oraz obniżyć koszty obliczeniowe — mniejszy model może osiągać rezultaty porównywalne ze znacznie większymi jednostkami. Z perspektywy ewaluacji niesie jednak istotne wyzwanie: część procesu rozumowania przenosi się do wewnętrznych reprezentacji liczbowych, których człowiek nie jest w stanie bezpośrednio przeanalizować. Utrudnia to śledzenie łańcucha myślowego modelu i wyłapywanie niepożądanych zachowań.

Z tego powodu OpenAI celowo ograniczyło liczbę pętli wykonywanych przez Astrę, aby jej tok rozumowania pozostał bardziej czytelny dla osób oceniających system. Główny naukowiec firmy, Jakub Pachocki, wskazywał wcześniej, że monitorowanie łańcucha rozumowania staje się coraz trudniejsze, i przestrzegał przed tworzeniem modeli, których wewnętrznych operacji nie da się odczytać.

Na to, jak wnioskowanie rekurencyjne działa w praktyce, rzuciła światło niedawna pomyłka Microsoftu. Koncern opublikował opis techniczny modelu GPT-6.1 Sol — tańszej wersji Astry. W usuniętym później fragmencie dokumentacji Microsoft ujawnił, że GPT-6.1 Sol korzysta z tych samych podstawowych wag co GPT-6 Sol, ale wykonuje dwa przebiegi wnioskowania zamiast trzech. Informacje te, jak potwierdziły źródła „The Information”, odpowiadały dokumentacji przekazanej inwestorowi przez OpenAI.

Architektura rekurencyjna pozostaje dla OpenAI narzędziem poprawy efektywności, ale jednocześnie komplikuje weryfikację sposobu, w jaki model dochodzi do odpowiedzi. Prace nad pełną kontrolą tego procesu oraz dopracowanie procedur testowych decydują o tym, kiedy nowy flagowiec będzie mógł trafić do odbiorców.