Pangram wchodzi w obrazy i wideo. Nowy detektor ma wskazywać, gdzie w kadrze jest AI
Pangram, firma znana wcześniej głównie z detektora tekstów generowanych przez AI, ogłosiła Pangram Image 1.0 oraz mniejszy i szybszy model Pangram Image Flash 1.0. Pierwszy ma wykrywać obrazy z generatorów, drugi filmy. Wersja badawcza narzędzia do obrazów pojawiła się kilka miesięcy temu, a teraz firma mówi o rozwiązaniu klasy state-of-the-art.
Największa nowość w modelu obrazowym to mapa cieplna. Pangram pokazuje nie tylko, że zdjęcie zawiera elementy AI, ale też gdzie dokładnie. Firma ilustruje to prawdziwą fotografią z wklejonym fragmentem wygenerowanym przez model. To przydatne, bo coraz częściej mamy do czynienia z obrazami częściowo edytowanymi, a nie w całości syntetycznymi.
Wyniki na własnych testach
Do testu obrazów firma wzięła 100 prawdziwych zdjęć i wygenerowała ich syntetyczne odpowiedniki w 12 generatorach, używając promptów zbliżonych do oryginałów. Z tego powstało 1200 obrazów AI. Pangram podaje, że jego model osiągnął na tym zbiorze 99,96% skuteczności. W komunikacie na X firma pisze też o wykrywaniu 99,2% obrazów generowanych przez AI przy 0,27% fałszywych alarmów.
Model ma być odporny na kompresję, zmniejszanie rozdzielczości, rozmycie i szum. Pangram wprost zaznacza, że takie przekształcenia robią platformy społecznościowe, a czasem też ktoś, kto próbuje oszukać detektor, i że specjalnie trenuje na nich model. Spadła też minimalna wielkość obrazu: z 512×512 do 256×256 pikseli.
Wideo: porównanie z konkurencją
Pangram Image Flash 1.0 analizuje film klatka po klatce i pokazuje, które fragmenty zostały oznaczone jako AI. Wideo można teraz wgrywać bezpośrednio do Pangrama.
Metodę testu powtórzono z filmami. Firma wzięła 129 prawdziwych nagrań z mediów społecznościowych i stworzyła ich syntetyczne odpowiedniki w 14 generatorach, po 100 filmów z każdego. Razem dało to 1529 materiałów. Według wpisu Pangrama Flash osiąga 98,57% skuteczności na filmach AI, a najlepszy konkurent 84,2%. W opisie nie wymieniono, z którymi usługami porównywano model, a wszystkie wyniki pochodzą z testów przeprowadzonych przez samą firmę.
Pangram odwołuje się też do benchmarku DF26. Według opisu firmy badanie wykazało, że ludzie rozpoznają prawdziwe i generowane filmy z mówiącymi osobami niewiele lepiej niż losowo, a nowoczesne detektory też nie radziły sobie dużo lepiej. Autorzy DF26 piszą: „We cannot tell fake from real anymore”. Zbiór obejmuje 2691 filmów, w tym 271 prawdziwych i 2420 wygenerowanych. Pangram deklaruje, że na DF26 i innych akademickich zestawach testowych osiąga najlepsze wyniki, a razem obejmują one niemal wszystkie czołowe generatory wideo.
Rozszerzenie i API
Pangram Image 1.0 trafił do rozszerzenia do Chrome. Ma oznaczać treści AI podczas przeglądania mediów społecznościowych, zakupów online, ofert wynajmu i innych stron, na których autentyczność obrazu ma znaczenie. API obsługuje teraz obrazy i wideo. Więcej o samym narzędziu znajdziesz na stronie Pangrama.
Test oparty na „syntetycznych lustrach” prawdziwych materiałów jest sensowny, bo zestawia dwa realistyczne obrazy zamiast łatwych przypadków. Pozostaje jednak pytanie, jak model zachowa się poza tak przygotowanym zbiorem, na świeżych generatorach i ręcznie obrabianych materiałach. Firma deklaruje, że testy objęły większość czołowych modeli, ale lista generatorów będzie się szybko starzeć. Pangram dziękuje zresztą społeczności za szukanie słabych punktów wersji badawczej.
