Poza granice benchmarków: Karpathy testuje granice kreatywności Claude Opus 5

Andrej Karpathy, współzałożyciel OpenAI i były szef działu AI w Tesli, postanowił rzucić wyzwanie modelowi Claude Opus 5 w sposób, który wymyka się tradycyjnym miarom wydajności. Zamiast analizować suche cyfry, Karpathy poddał system testowi, który sam określa mianem „vibe check” – sprawdzianem intuicji i spójności twórczej sztucznej inteligencji. Zadanie było pozornie proste, ale technicznie karkołomne: przekształcenie pojedynczego akapitu z „Władcy Pierścieni” J.R.R. Tolkiena w pełni funkcjonalną scenę 3D renderowaną w przeglądarce.

Eksperyment ten nabiera szczególnego znaczenia właśnie teraz, gdy branża zaczyna wątpić w sens klasycznych rankingów. Tradycyjne mierniki przestają wystarczać, by opisać przeskok od prostych odpowiedzi do generowania całych, interaktywnych środowisk. Karpathy pokazał, że nowoczesne systemy multimodalne potrafią dziś budować gry i proceduralne światy, co stawia pod znakiem zapytania przyszłość tradycyjnego programowania kreatywnego.

Od tekstu do trójwymiarowego świata

Proces trwał zaledwie dwie godziny i kosztował około 10 dolarów, co przełożyło się na zużycie miliona tokenów. W tym czasie model wygenerował 5500 linii kodu w bibliotece graficznej Three.js, samodzielnie rozmieszczając i animując obiekty. Karpathy, obecnie związany z Anthropic, podkreśla, że choć wynik jest, jak sam określił na platformie X, „trochę koślawy, ale fajny” (kind of janky but fun), demonstruje on potężną zmianę paradygmatu. Nikt nie budowałby takich światów ręcznie przy tak niskim budżecie, jednak dla modelu AI jest to zadanie niemal darmowe i dostępne na żądanie. Całość uzupełniła ścieżka dźwiękowa wygenerowana przez narzędzia Eleven Labs.

Ograniczenia wizualnej autokorekty

Mimo imponującego rezultatu, eksperyment ujawnił istotną barierę technologiczną. Claude Opus 5 nie potrafi jeszcze na bieżąco obserwować generowanego przez siebie obrazu wideo. Zamiast tego model musiał polegać na statycznych zrzutach ekranu, co prowadziło do błędów w pozycjonowaniu i płynności ruchu. To krytyczny punkt dla badaczy: dopóki modele nie zyskają pełnej, ciągłej pętli zwrotnej w domenie wizualnej, ich zdolność do tworzenia bezbłędnych środowisk 3D pozostanie ograniczona.

Koniec ery prostych testów

Karpathy sugeruje, że tradycyjne wyzwania, jak słynny test rysowania pelikana na rowerze czy jednorożca w formacie TikZ, powoli tracą na znaczeniu. Współczesne systemy multimodalne radzą sobie z nimi zbyt dobrze, by mogły one służyć jako rzetelna miara postępu. Przyszłość leży w generowaniu całych ekosystemów – od strzelanek FPP po klony Minecrafta – tworzonych w locie. Wizja Karpathy’ego zakłada świat, w którym użytkownik może zostać wrzucony w sam środek dynamicznie generowanej historii jako główny bohater lub postać drugoplanowa, a wszystko to za ułamek ceny dzisiejszych produkcji gamingowych.