FlashProve: Anthropic pracuje nad kryptograficznym dowodem, że odpowiedź pochodzi z konkretnego modelu

Anthropic pracuje nad systemem, który pozwoli sprawdzić, czy odpowiedź rzeczywiście pochodzi z modelu, za jaki podaje go dostawca. Projekt nazywa się FlashProve i jest opisany we wpisie badawczym Anthropic. Chodzi o tzw. „provable inference”, czyli dowód kryptograficzny, że dane wyjście wygenerował konkretny model. Szerzej o założeniach pisze też Yahoo Tech.

Autorzy porównują to do podpisów kryptograficznych w poczcie elektronicznej, dzięki którym odbiorca wie, że wiadomość wysłał deklarowany nadawca. Kluczowe jest to, że system ma działać także wtedy, gdy oszustem jest sam dostawca, czyli laboratorium, które model zbudowało i uruchamia. Badacze podają dwa przykłady nadużyć. Pierwszy to po cichu podstawiony tańszy model, który obniża koszty. Drugi to droższy model użyty w testach, żeby zawyżyć wyniki.

Odcisk zamiast wag

Mechanizm opiera się na „odcisku palca” (fingerprint) modelu. Laboratorium publikuje go dla każdego wydawanego modelu, a potem można go kryptograficznie dopasować do konkretnych odpowiedzi. Odcisk nie ujawnia wag, czyli wewnętrznych parametrów, które firmy takie jak Anthropic i OpenAI trzymają w tajemnicy. Dzięki temu rozwiązanie mogłoby objąć również modele komercyjne, bez oddawania najcenniejszego zasobu. Opis repozytorium na GitHubie mówi to samo: dostawca publikuje zobowiązanie do wag, a klient weryfikuje dowód na CPU, bez dostępu do samych wag.

System ma być na tyle lekki, żeby weryfikację dało się wykonać na lokalnym urządzeniu. Anthropic wskazuje też zastosowanie poza relacją użytkownik–dostawca, czyli weryfikację twierdzeń osób trzecich. „Programista może twierdzić, że jego biblioteka została przeskanowana pod kątem podatności przez zaawansowany model do cyberbezpieczeństwa, a firma – że jej biznesplan zatwierdził odpowiedni model. Jak użytkownik ma to sprawdzić?” – pytają autorzy.

Prototyp, nie produkt

Anthropic udostępnił szczegółową specyfikację techniczną i działający kod dla poszczególnych elementów systemu na licencji open source. Według dokumentacji technicznej prototyp generuje dowody z przepustowością około 110 tokenów na sekundę na jednym GPU H100, dla modelu o 400 mld parametrów. Faza przygotowawcza (offline) ma trwać około 39 minut. Źródła nie wyjaśniają, jak te wartości przekładają się na koszt czy opóźnienia w realnym wdrożeniu.

Anthropic podkreśla, że nie planuje wdrożenia FlashProve ani u siebie, ani w żadnym innym laboratorium. „Ten wpis ma pokazać pośredni postęp prac, a nie ukończony program badawczy” – piszą badacze. Dodają, że publikują go po to, by inni „spojrzeli na to, co zrobiliśmy, wzięli to i ulepszyli”. W komunikacie na X firma ocenia, że dalszy postęp w tej dziedzinie będzie prawdopodobnie ważną częścią budowania zaufania do wdrożeń AI.

Na razie więc FlashProve to otwarta propozycja techniczna, a nie usługa. Żeby przydał się użytkownikom, laboratoria musiałyby zacząć publikować odciski swoich modeli. Nie wiadomo, czy laboratoria zdecydują się publikować odciski swoich modeli.