GLM-Legal z dużym skokiem w teście agentowym, ale ze spadkiem w badaniach prawnych
Firma Z.ai udostępniła model GLM-Legal, przygotowany do zadań prawniczych na bazie GLM-5.3-Flash. W niezależnych pomiarach Vals AI w benchmarku Harvey Legal Agent (Harvey LAB) model zaliczył wszystkie stawiane kryteria w 19,17 proc. zadań, podczas gdy jego wersja bazowa osiągnęła 6,67 proc. Ten wyraźny postęp w środowisku agentowym nie oznacza jednak ogólnej przewagi we wszystkich obszarach pracy z prawem.
Nierówny profil modelu widać w innych sprawdzianach prawniczych. W Legal Research Bench, który ocenia umiejętność wyszukiwania i analizy źródeł, GLM-Legal uzyskał 41,83 proc. To wynik słabszy niż osiągnięty przez bazowy GLM-5.3-Flash (45,19 proc.), a także gorszy od Claude Fable 5 (49,52 proc.) i Kimi K3 (46,15 proc.). Z kolei w teście LegalBench nowy model zdobył 86,23 proc. punktów — niemal tyle samo co Kimi K3 (86,21 proc.) i mniej niż Claude Fable 5 (88,56 proc.). Z.ai zadeklarowało również porównywalność z czołówką w chińskim teście PLawBench, ale nie przedstawiło konkretnych danych liczbowych.
Siódme miejsce w Harvey LAB i pominięta czołówka
Ocena w Harvey LAB należy do najbardziej rygorystycznych: zadanie uznaje się za zaliczone tylko wtedy, gdy model spełni bez wyjątku każde z przypisanych mu kryteriów eksperckich. Wynik 19,17 proc. dotyczy więc zadań zrealizowanych w całości, a nie odsetka poprawnie wykonanych kroków.
Rezultat ten dał GLM-Legal 7. miejsce wśród 79 przetestowanych modeli. Z.ai w swoich materiałach promocyjnych zestawiało model z Kimi K3 (12,92 proc.), Claude Fable 5 (11,25 proc.) oraz GPT-6 Astra (5,42 proc.). Na firmowym wykresie pominięto jednak sześć modeli sklasyfikowanych wyżej, w tym lidera zestawienia, Muse Spark 1.2, który osiągnął wynik 25,42 proc.
Długi czas pracy i ograniczona dostępność
Pomiary Vals AI przyniosły też dane dotyczące kosztu i tempa pracy agenta w Harvey LAB. Wyliczony przez platformę koszt pojedynczego zadania wyniósł 0,15 dolara, wobec 19,23 dolara dla Claude Fable 5. Nie jest to jednak oficjalny cennik Z.ai, lecz szacunek przyjęty przez Vals AI na podstawie testowych stawek tokenowych.
Ceną za specyfikę działania modelu okazał się czas wykonania. Średnie zadanie w Harvey LAB zajęło GLM-Legal 1 godzinę i 12 minut. Dla porównania bazowy GLM-5.3-Flash potrzebował około 52 minut, Claude Fable 5 niespełna 27 minut, a Kimi K3 kończył pracę średnio po 14 minutach.
W przeciwieństwie do GLM-5.3-Flash, który został udostępniony z otwartymi wagami, GLM-Legal pozostaje trudniej dostępny. Z.ai oferuje do niego dostęp wyłącznie przez API na wniosek, nie określa jednak warunków ani skali jego dostępności, nie opublikowało wag modelu ani nie podało oficjalnego cennika komercyjnego.
