Kryzys replikowalności w testach AI. Google sugeruje, że źle oceniamy modele

W sektorze rozwoju sztucznej inteligencji to człowiek pozostaje ostatecznym sędzią. To ludzie w procesach RLHF czy benchmarkowych testach bezpieczeństwa decydują o tym, czy odpowiedź bota jest toksyczna, pomocna czy merytorycznie poprawna. Jednak wspólne badanie Google Research oraz Rochester Institute of Technology rzuca cień na rzetelność tych ocen. Okazuje się, że branżowy standard angażowania od trzech do pięciu sędziów na jeden przykład testowy jest fundamentalnie wadliwy.

Złudzenie konsensusu

Problem tkwi w sposobie, w jaki agregujemy ludzkie opinie. Obecnie dominujący model opiera się na prostym głosowaniu większościowym. Jeśli trzech na pięciu oceniających uzna treść za szkodliwą, system przypisuje jej etykietę „toksyczna”. Takie podejście całkowicie ignoruje jednak fakt, że ludzie często fundamentalnie się ze sobą nie zgadzają. W rzeczywistości dwa różne komentarze mogą otrzymać tę samą łatkę, mimo że w pierwszym przypadku sędziowie byli jednomyślni, a w drugim głosy rozłożyły się niemal po równo.

Badacze posłużyli się trafną analogią kulinarną: czy lepiej poprosić tysiąc osób o spróbowanie jednego, innego dania przez każdą z nich, czy może zaprosić dwadzieścia osób, by każda oceniła te same pięćdziesiąt potraw? Dzisiejsze benchmarki AI wybierają ten pierwszy, „płytki” model, stawiając na ilość przykładów kosztem głębi i zrozumienia różnorodności ludzkiego osądu.

Nowe podejście do wiarygodności

Wykorzystując zaawansowane symulacje oparte na realnych zestawach danych dotyczących bezpieczeństwa chatbotów i offsetu kulturowego, naukowcy wykazali, że do uzyskania statystycznie powtarzalnych wyników potrzeba co najmniej dziesięciu sędziów na jeden przykład. Co ciekawe, całkowity budżet adnotacji – oscylujący wokół 1000 ocen – może być wystarczający, o ile zostanie odpowiednio rozdysponowany.

Analiza dowodzi, że nie istnieje jedna uniwersalna strategia podziału budżetu. Jeśli celem badania jest czysta skuteczność (accuracy) mierzona zgodnością z większością, szeroki rozkład sędziów (wielu przykładów, niewielu ludzi) ma sens. Jednak w przypadku mierzenia subtelnych tekstów, gdzie kluczowa jest różnorodność opinii, należy drastycznie zmniejszyć liczbę testowanych przykładów na rzecz zwiększenia liczby oceniających je osób.

Konieczność rewizji standardów

Wnioski z raportu są jednoznaczne: źle zbalansowany benchmark dostarczy niewiarygodnych wyników nawet przy ogromnych nakładach finansowych. Dla inżynierów AI oznacza to konieczność porzucenia wygodnego, lecz uproszczonego modelu „większość ma rację”. Aby modele AI rzeczywiście rozumiały ludzkie wartości i ich zróżnicowanie, systemy ich oceny muszą najpierw zacząć dostrzegać różnice w tym, jak my sami postrzegamy świat.