JarvisArt: Przełom w edycji zdjęć dzięki inteligentnej automatyzacji i kontroli użytkownika

Retusz zdjęć to fundamentalny element cyfrowej fotografii, umożliwiający manipulację takimi aspektami jak ton, ekspozycja czy kontrast, w celu uzyskania wizualnie atrakcyjnego obrazu. Niezależnie od tego, czy mówimy o zastosowaniach profesjonalnych, czy osobistej ekspresji, użytkownicy dążą do ulepszania zdjęć w sposób zgodny z ich estetycznymi celami. Jednakże, sztuka retuszu zdjęć wymaga zarówno wiedzy technicznej, jak i wrażliwości artystycznej, co utrudnia osiągnięcie wysokiej jakości wyników bez znacznego wysiłku lub specjalistycznej wiedzy. Kluczowy problem wynika z istniejącej luki między ręcznymi narzędziami edycyjnymi a rozwiązaniami zautomatyzowanymi.

Podczas gdy profesjonalne oprogramowanie, takie jak Adobe Lightroom, oferuje szerokie możliwości retuszu, opanowanie tych narzędzi bywa czasochłonne i trudne dla przeciętnego użytkownika. Z drugiej strony, metody oparte na sztucznej inteligencji często nadmiernie upraszczają proces edycji, nie oferując kontroli ani precyzji wymaganej do subtelnych poprawek. Te zautomatyzowane rozwiązania mają również problemy z generalizacją w różnorodnych scenach wizualnych i obsługą złożonych instrukcji użytkownika.

Ograniczenia obecnych modeli AI w edycji zdjęć

Tradycyjne narzędzia w dużym stopniu polegały na optymalizacji pierwszego rzędu, a także na uczeniu się przez wzmacnianie w zadaniach retuszu zdjęć. Inne wykorzystują metody oparte na dyfuzji do syntezy obrazu. Strategie te, choć wykazują postępy, są generalnie utrudnione przez ich niezdolność do obsługi precyzyjnej kontroli regionalnej, utrzymania wysokiej rozdzielczości wyjściowych danych, czy zachowania pierwotnej treści obrazu. Nawet nowsze, duże modele, takie jak GPT-4o czy Gemini-2-Flash, oferują edycję sterowaną tekstem, ale kompromitują kontrolę użytkownika, a ich procesy generatywne często nadpisują kluczowe szczegóły treści.

JarvisArt: multimodalny retuszer AI integrujący mechanizm „łańcucha myśli” i API Lightrooma

Naukowcy z Xiamen University, Chińskiego Uniwersytetu w Hongkongu, Bytedance, Narodowego Uniwersytetu Singapuru i Uniwersytetu Tsinghua zaprezentowali JarvisArt—inteligentnego agenta retuszu. Ten system wykorzystuje multimodalny duży model językowy, aby umożliwić elastyczną edycję obrazu sterowaną instrukcjami. JarvisArt jest szkolony w celu emulowania procesu podejmowania decyzji przez profesjonalnych artystów, interpretując intencje użytkownika zarówno poprzez wskazówki wizualne, jak i językowe, oraz wykonując działania retuszujące za pomocą ponad 200 narzędzi w Adobe Lightroom, dzięki specjalnemu protokołowi integracji.

Metodologia integruje trzy główne komponenty. Po pierwsze, badacze zbudowali wysokiej jakości zestaw danych, MMArt, który obejmuje 5 000 standardowych i 50 000 próbek opatrzonych adnotacjami w schemacie „łańcucha myśli” (Chain-of-Thought), obejmujących różne style i złożoności edycji. Następnie, JarvisArt przechodzi dwuetapowy proces szkolenia. Początkowa faza wykorzystuje nadzorowane dostrajanie (supervised fine-tuning) do budowania zdolności rozumowania i wyboru narzędzi. Po niej następuje Group Relative Policy Optimization for Retouching (GRPO-R), który włącza spersonalizowane nagrody za użycie narzędzi – takie jak dokładność retuszu i jakość percepcyjna – w celu udoskonalenia zdolności systemu do generowania edycji o profesjonalnej jakości. Specjalizowany protokół Agent-to-Lightroom (A2L) zapewnia płynne i transparentne wykonywanie narzędzi w Lightroomie, umożliwiając użytkownikom dynamiczne dostosowywanie edycji.

Testowanie możliwości JarvisArt i jego wydajności w rzeczywistych warunkach

Zdolność JarvisArt do interpretowania złożonych instrukcji i stosowania subtelnych poprawek została oceniona za pomocą MMArt-Bench, benchmarku skonstruowanego na podstawie rzeczywistych edycji użytkowników. System wykazał 60% poprawę w średnich metrykach na poziomie pikseli pod kątem wierności treści w porównaniu do GPT-4o, zachowując podobne możliwości w zakresie wykonywania instrukcji. Zaprezentował również wszechstronność w obsłudze zarówno globalnych edycji obrazu, jak i zlokalizowanych poprawek, z możliwością manipulowania obrazami o dowolnej rozdzielczości. Na przykład, może dostosować teksturę skóry, jasność oczu, czy definicję włosów na podstawie instrukcji specyficznych dla regionu. Te wyniki osiągnięto, zachowując cele estetyczne zdefiniowane przez użytkownika, co pokazuje praktyczne połączenie kontroli i jakości w wielu zadaniach edycyjnych.

Podsumowanie: agent generatywny łączący kreatywność z techniczną precyzją

Zespół badawczy zajął się znaczącym wyzwaniem – umożliwieniem inteligentnego, wysokiej jakości retuszu zdjęć, który nie wymaga profesjonalnej wiedzy. Metoda, którą wprowadzili, redukuje lukę między automatyzacją a kontrolą użytkownika poprzez połączenie syntezy danych, szkolenia opartego na rozumowaniu i integracji z komercyjnym oprogramowaniem. JarvisArt oferuje praktyczne i potężne rozwiązanie dla kreatywnych użytkowników, którzy szukają zarówno elastyczności, jak i jakości w edycji obrazów.