GPT-6 radzi sobie z COBOL-em i Fortranem. OpenAI pokazuje skok z 5 do niemal 98 proc.

OpenAI poprawiło swoje najnowsze modele w obszarze, który rzadko trafia na pierwsze strony: tzw. języków „low-resource”, czyli takich, dla których w sieci jest znacznie mniej kodu do trenowania niż dla Pythona. Chodzi między innymi o COBOL, Fortran i Visual Basic. Firma opisała to we wpisie na swojej stronie, a wyniki streścił m.in. The Decoder.

Argument OpenAI jest praktyczny: choć dla tych języków dostępnych jest znacznie mniej danych treningowych niż dla Pythona, według firmy podtrzymują one krytyczną infrastrukturę na całym świecie. Przywołuje szacunki IBM-a, zgodnie z którymi COBOL napędza ponad 40 proc. systemów bankowości online i 95 proc. wszystkich transakcji bankomatowych. To nie jest więc historia o „lepszym kodowaniu w ogóle”, tylko o wejściu w utrzymanie i modernizację starego oprogramowania.

Baza danych od zera w 20 językach

Do pomiaru postępów OpenAI przygotowało dwa własne testy. Pierwszy, MultiLangBench, wymaga od modelu zbudowania od podstaw silnika bazy danych zgodnego z SQLite. Wynikiem jest średni odsetek zaliczonych testów w 20 językach programowania.

• GPT-6 Astra przy maksymalnym wysiłku rozumowania (reasoning effort) osiąga średnio 87,4 proc. GPT-5.6 Terra – około 38 proc.
• GPT-6.1 Sol plasuje się na podobnym poziomie, około 87 proc.
• GPT-6 Luna uzyskuje 40,3 proc., czyli ledwie więcej niż GPT-5.6 Terra (37,9 proc.). Według źródła robi to jednak przy znacznie niższym koszcie.

Różnica między Astrą a poprzednią generacją to ponad dwukrotny wzrost. Luna jest ciekawsza jako propozycja cenowa niż jakościowa: wynik prawie taki sam jak u poprzednika, ale taniej.

Migracja COBOL-a

Drugi test dotyczy konkretnego zadania z życia dużych organizacji: tłumaczenia COBOL-a na C++, Javę, Kotlina, Pythona lub Rusta. Tu różnice są jeszcze większe. GPT-6.1 Sol osiąga 86,6 proc. trafności już przy niskim wysiłku rozumowania, podczas gdy GPT-5.6 Sol – 5,4 proc. Po podniesieniu reasoning effort wynik rośnie do 97,9 proc.

Źródło nie wyjaśnia, jak dokładnie mierzona jest „trafność” migracji, więc trudno ocenić, co ta liczba oznacza w realnym projekcie, np. przy kodzie z lat 80., bez dokumentacji i z nietypowymi zależnościami. Warto też pamiętać, że oba benchmarki zostały zaprojektowane przez OpenAI. Kilka serwisów powtórzyło te same liczby, ale to powielanie komunikatu firmy, a nie niezależna weryfikacja. Na razie mamy więc dobrze brzmiącą demonstrację, a nie potwierdzenie, że bank może zlecić modelowi przepisanie swojego rdzenia transakcyjnego.