AI podciąga młodych rzeczników patentowych, ale bez niej zostają w miejscu. Wyniki trzymiesięcznego eksperymentu

Narzędzia AI wyrównują poziom między początkującymi a doświadczonymi pracownikami – to wiemy z badań nad programistami, konsultantami czy obsługą klienta. Nowy working paper amerykańskiego NBER dodaje do tego niewygodne pytanie: czy ta poprawa zostaje w głowie człowieka, czy znika razem z narzędziem? Jak opisuje The Decoder, w przypadku młodych rzeczników patentowych odpowiedź nie jest oczywista, a dla części z nich raczej niepokojąca.

Jak zaprojektowano eksperyment

Badanie, opublikowane przez NBER, było randomizowanym eksperymentem terenowym trwającym trzy miesiące. Wzięło w nim udział 133 praktykujących rzeczników patentowych z 11 amerykańskich kancelarii zajmujących się własnością intelektualną. Dwie trzecie uczestników dostało dostęp do „InFlow” – niepublikowanego jeszcze asystenta AI z Google Labs. Pozostali pracowali bez żadnego wsparcia. Badanie finansował Google.

Kluczowy jest podział zadań. W dwóch zadaniach polegających na redagowaniu zastrzeżeń patentowych tylko grupa badana mogła korzystać z InFlow. W trzecim, tzw. redliningu, wszyscy musieli krytycznie przejrzeć istniejący projekt patentu bez AI. Według autorów pierwsze zadania mierzą wydajność wspieraną przez AI, a redlining – wewnętrzny osąd, czyli coś, co rzecznicy na co dzień robią bez żadnych narzędzi. Wyniki oceniali zaślepieni rzecznicy z niezależnej kancelarii w pięciu kategoriach: skuteczność prawna (enforceability), poprawność techniczna, strategiczna niejednoznaczność, kompletność i jasność.

Z AI juniorzy zyskują najwięcej

W redagowaniu grupa z AI wyraźnie wyprzedzała kontrolną, zarówno po 10, jak i po 90 dniach, we wszystkich pięciu wymiarach. Poprawa wynikała głównie z mniejszej liczby słabych ocen i większej liczby średnich; najwyższe noty prawie się nie zmieniły. Zyski były wyraźnie większe u prawników z doświadczeniem poniżej siedmiu lat niż u seniorów. Autorzy zauważają, że to zgodne z wcześniejszymi badaniami nad pisaniem, obsługą klienta i programowaniem.

Bez AI przewaga znika – ale nie u wszystkich

Redlining dał odwrotny obraz. Grupa badana wypadła lepiej ogółem, ale cała przewaga pochodziła od seniorów. Juniorzy, którzy najwięcej zyskali przy pisaniu z AI, tu nie zyskali nic. Co więcej, ich wyniki się rozjechały: ubyło ocen średnich, przybyło zarówno złych, jak i dobrych, a na samym szczycie nic się nie zmieniło. Autorzy interpretują to ostrożnie – AI mogła u części juniorów przyspieszyć budowanie umiejętności, a u innych je zastąpić. Eksperyment nie wyjaśnia jednak, dlaczego efekty się rozeszły. Badacze sugerują, że bazowa wiedza ekspercka może być warunkiem tego, by praca z AI zamieniła się w trwałą umiejętność.

Dodatkowa analiza tekstu daje jedną możliwą wskazówkę. Seniorzy częściej przebudowywali wadliwy projekt i opierali zmiany na zasadach prawa. Juniorzy często dostrzegali poważne błędy, ale ich nie naprawiali, zostawiając notatki przypominające polecenia dla asystenta AI. Ponieważ to samo zachowanie widać w grupie kontrolnej, autorzy nie przypisują go nawykom wyniesionym z pracy z AI, tylko traktują jako bazowy deficyt juniorów, którego narzędzie nie zniwelowało.

Ograniczenia

Badacze wymieniają kilka słabości: mała próba (wynikająca z wysokich stawek godzinowych najlepszych prawników), niereprezentatywne kancelarie, brak pomiaru umiejętności wyjściowych oraz trzy miesiące, czyli bardzo mało w porównaniu z latami potrzebnymi do wyrobienia się w prawie patentowym. Jednocześnie argumentują, że napięcie między natychmiastową produktywnością a trwałym rozwojem będzie istotne, dopóki praca zawodowa wymaga osądu bez AI. A tak będzie pewnie długo – nawet jeśli AI zacznie wspierać redlining, raczej nie będzie dostępna w czasie rzeczywistym na spotkaniach z klientami czy na sali sądowej.

Podobne wzorce w innych zawodach

The Decoder zestawia wyniki z wcześniejszymi badaniami. W eksperymencie Anthropic młodzi programiści, którzy uczyli się nowej biblioteki z pomocą AI, uzyskali w teście wiedzy o 17 proc. gorszy wynik niż ci uczący się bez niej. MIT Media Lab zaobserwował w pisaniu esejów oznaki „długu poznawczego” wynikającego z zlecania myślenia maszynie. Z kolei badanie BCG z 2023 roku wykazało, że słabsi konsultanci zyskiwali na GPT-4 znacznie więcej niż najlepsi – według VentureBeat korzystający z modelu wykonali o 12,2 proc. więcej zadań, o 25,1 proc. szybciej i z jakością wyższą o ponad 40 proc., a najsłabsi poprawili się o 43 proc.

Badacze ze Stanfordu tłumaczą spadek liczby stanowisk początkujących w wielu branżach tym, że AI potrafi głównie zastąpić wiedzę podręcznikową ze szkoły i studiów, czyli to, co wnoszą młodzi pracownicy. Doświadczeni mają też praktyczną wiedzę, której maszyna łatwo nie zastąpi. Anthropic podało niedawno, że udział juniorów w jego działach inżynieryjnych spadł z 21 do 14 proc. od początku 2025 roku.

Eksperyment patentowy wpisuje się w debatę o erozji kompetencji zawodowych, określaną przez niektórych badaczy jako „tragedia wspólnoty poznawczej”: pojedyncze firmy zyskują na automatyzacji, a koszt niedorozwiniętych talentów rozkłada się na całą profesję. Zespół z NBER dokłada do tej tezy dowód eksperymentalny z realnej praktyki – choć, jak sami przyznają, z ograniczoną próbą i krótkim horyzontem.