Automatyzacja optymalizacji promptów z Gemini Flash: krok w stronę programowalnej sztucznej inteligencji

Wraz z dynamicznym rozwojem sztucznej inteligencji rośnie znaczenie efektywnego projektowania promptów – instrukcji kierujących działaniem modeli językowych. Dotychczas proces ten często opierał się na intuicji i metodzie prób i błędów. Jednakże nowe podejście przedstawione w badaniu, koncentrujące się na programowej optymalizacji, otwiera drogę do systematycznego i powtarzalnego udoskonalania interakcji z AI.

Kluczowym elementem tej innowacji jest traktowanie promptów nie jako statycznego tekstu, lecz jako parametrów, które można dostroić. Zamiast zgadywać, która instrukcja czy zestaw przykładów zadziała najlepiej, naukowcy opracowali pętlę optymalizacyjną wokół modelu Gemini 2.0 Flash. Ta pętla eksperymentuje, ocenia i automatycznie wybiera najskuteczniejszą konfigurację promptu.

Metodologia ta rozpoczyna się od zdefiniowania niezbędnych bibliotek i narzędzi, w tym konfiguracji Gemini 2.0 Flash oraz klas danych do reprezentowania wpisów w zestawie danych i wyników modelu. Następnie generowany jest niewielki, ale zróżnicowany zestaw danych do analizy sentymentu, służący do szkolenia i walidacji. Istotnym etapem jest stworzenie szablonu promptu (PromptTemplate), który pozwala łączyć instrukcje, przykłady few-shot learning oraz bieżące zapytania w jeden ciąg. Traktowanie tego szablonu jako obiektu programowalnego umożliwia dynamiczną zmianę instrukcji i przykładów podczas procesu optymalizacji.

Model Gemini, w celu ułatwienia użycia, jest opakowany w klasę SentimentModel, co pozwala wywoływać go jak standardowy klasyfikator. Prompt jest formatowany za pomocą szablonu, a następnie wywoływana jest funkcja generująca treść. Po przetworzeniu tekstowym wyodrębniane są trzy kategorie sentymentu. Dodatkowo metoda oceny (evaluate) mierzy dokładność na dowolnym zestawie danych.

Sercem optymalizacji jest klasa PromptOptimizer. Definiuje ona pulę kandydatów instrukcji do przetestowania. Implementowane są dwie kluczowe funkcje: select_best_examples, która wyszukuje mały, zróżnicowany zestaw przykładów few-shot, oraz optimize_instruction, która ocenia każdy wariant instrukcji na podstawie danych walidacyjnych. W ten sposób projektowanie promptów przekształca się w problem lekkiego wyszukiwania nad przykładami i instrukcjami.

Ostatecznym krokiem jest skompilowanie (compile) najlepszych przykładów i instrukcji w finalny, zoptymalizowany PromptTemplate. Proces ten rozpoczyna się od konfiguracji Gemini, zbudowania zestawu danych i oceny zarówno tzw. baseline’u zero-shot, jak i prostego, ręcznie przygotowanego promptu few-shot. Następnie wywoływany jest optymalizator w celu wygenerowania skompilowanego, zoptymalizowanego promptu do analizy sentymentu.

W końcowej fazie zoptymalizowany model jest oceniany, a jego dokładność porównywana z baseline’em i ręcznie ustawionymi konfiguracjami few-shot. Wybrana instrukcja i przykłady są wyświetlane, co pozwala na wgląd w to, co odkrył optymalizator. Przeprowadzane są również testy na żywo z kilkoma przykładowymi zdaniami, aby zademonstrować działanie predykcji. Cały proces pokazuje, że programowa optymalizacja promptów zapewnia powtarzalne, oparte na dowodach podejście do projektowania wysokowydajnych promptów, które przewyższają próby manualne. To odejście od intuicji na rzecz kontrolowanego cyklu optymalizacji oferuje precyzję, pewność i skalowalność w inżynierii promptów, z możliwością rozszerzenia na nowe zadania i bardziej złożone zestawy danych.