Koniec z oszukiwaniem w testach AI? Google wdraża kryptograficzną weryfikację modeli

Współczesny wyścig zbrojeń w dziedzinie sztucznej inteligencji opiera się na liczbach. Modele prześcigają się w wynikach benchmarków, obiecując coraz wyższą sprawność w logice, kodowaniu czy analizie tekstu. Problem polega na tym, że te miary stają się coraz mniej wiarygodne. Zjawisko znane jako „benchmark contamination” sprawia, że modele mogą osiągać wysokie wyniki nie dzięki realnej inteligencji, lecz dlatego, że widziały pytania egzaminacyjne podczas procesu trenowania. Google DeepMind zamierza ukrócić ten proceder, wprowadzając nową metodę weryfikacji, która przypomina mechanizmy stosowane w badaniach klinicznych.

Dlaczego to ważne właśnie teraz? Branża AI dotarła do punktu, w którym rankingi przestały odzwierciedlać rzeczywiste możliwości systemów. Pilotażowy program Google DeepMind, realizowany z udziałem takich organizacji jak Singapore AI Safety Institute, OpenMined czy MLCommons, ma wyeliminować zjawisko „hakowania” tabel wyników. Wykorzystanie kryptograficznej izolacji pozwala na obiektywną ocenę bez ryzyka, że twórcy modelu dostosują go do konkretnego egzaminu.

Kryptograficzna bariera prywatności

Inicjatywa wprowadza koncepcję podwójnie ślepej próby do ewaluacji modeli, takich jak testowany w pilotażu Gemini Flash Lite. Do tej pory branża zmagała się z patową sytuacją: audytorzy musieli albo przekazać swoje tajne testy dostawcy AI (ryzykując ich wyciek do zbiorów treningowych), albo dostawca musiał udostępnić wagi modelu (narażając własność intelektualną). Jak twierdzi Google DeepMind w swoim oficjalnym komunikacie, to pierwsza na świecie podwójnie ślepa próba przeprowadzona na zamkniętym, czołowym modelu klasy frontier.

Google rozwiązuje ten dylemat, wykorzystując infrastrukturę Confidential Space w chmurze Google Cloud. Mechanizm działa jak cyfrowy sejf. Dane testowe oraz model spotykają się w odizolowanym środowisku obliczeniowym, do którego nikt nie ma wglądu. Dzięki zabezpieczeniom sprzętowym, „oceniający nie widzi wag modelu Gemini, a Google nie widzi promptów testowych audytora”. Po zakończeniu operacji system potwierdza jedynie wynik, dając gwarancję, że model nie „ściągał” z wcześniejszych sesji.

Przełom dla bezpieczeństwa narodowego

Nowe podejście ma kluczowe znaczenie w obszarach o wysokim stopniu wrażliwości. W ramach testów w Singapurze wykorzystano prywatny zestaw promptów dotyczących treści szkodliwych w lokalnym kontekście kulturowym i prawnym. Organizacje rządowe mogą teraz rzetelnie sprawdzać granice możliwości systemów AI bez obawy o suwerenność swoich danych. To istotny krok naprzód względem dotychczasowych umów i protokołów „zero-logging”, które opierały się głównie na zaufaniu do deklaracji korporacji.

Krytycy zauważają, że dopóki proces trenowania modeli pozostaje czarną skrzynką, całkowite wyeliminowanie skażenia danych jest trudne. Jednak propozycja DeepMind ustanawia nowy standard techniczny. Jeśli metoda zostanie przyjęta powszechnie, czas bezkrytycznego zaufania do tabelek z wynikami może wkrótce odejść do przeszłości.