Google: AI pisze większość kodu, ale nie przyspiesza tempa badań nad sztuczną inteligencją

Sztuczna inteligencja przejmuje coraz większą część codziennej pracy programistów, ale nie doprowadziła do mierzalnego przyspieszenia w samych badaniach nad rozwojem modeli. Takie wnioski przedstawił Haydn Belfield z Google DeepMind, podsumowując wewnętrzne analizy dotyczące automatyzacji pracy badawczo-rozwojowej.

Skala wsparcia przy pisaniu oprogramowania jest znacząca: AI generuje już ponad 75 proc. kodu produkcyjnego w Google. Nie oznacza to jednak pełnej autonomii. Około 88 proc. zmian w kodzie wciąż wymaga bezpośredniego nadzoru lub weryfikacji ze strony inżynierów, a każda modyfikacja przechodzi kontrolę przed wdrożeniem. Choć odsetek zadań w pełni powierzanych AI wzrósł do 11,9 proc. (z wcześniejszych 7,5 proc.), systemy te pozostają narzędziem wspomagającym, a nie samodzielnym wykonawcą.

Ograniczenia autonomicznych agentów uwidaczniają się wraz ze wzrostem skomplikowania problemów. Analiza 1389 wewnętrznych uruchomień agenta Argon wykazała, że jego skuteczność bez udziału człowieka wyraźnie spada przy bardziej złożonych i czasochłonnych zadaniach. Na teście RE-Bench, obejmującym 74 realistyczne wyzwania z zakresu inżynierii uczenia maszynowego, Argon rozwiązał około połowy problemów. To wynik lepszy od Gemini 3.7 Flash (27 proc.), ale wciąż daleki od poziomu pozwalającego na zastąpienie naukowców.

Ankieta przeprowadzona wśród 12 doświadczonych badaczy DeepMind potwierdza tę zależność: automatyzacja sprawdza się najlepiej przy zadaniach o wąskim zakresie, precyzyjnie zdefiniowanych i łatwych do natychmiastowej weryfikacji. Człowiek pozostaje niezastąpiony przy projektowaniu nowych eksperymentów, formułowaniu otwartych pytań badawczych, planowaniu długoterminowym oraz diagnozowaniu nietypowych błędów podczas treningu modeli.

Aby sprawdzić, czy badania nad AI zaczynają napędzać same siebie, zespół DeepMind opracował General Capability Index (GCI), obejmujący 123 modele i 92 benchmarki. Z pomiarów wynika, że możliwości kolejnych generacji Gemini rosną w stałym tempie około 0,1 punktu GCI miesięcznie, bez statystycznie istotnego przyspieszenia. Wyższy wynik Gemini 4 Argon zespół przypisuje większym nakładom obliczeniowym i organizacyjnym, a nie samonapędzającemu się postępowi.

Google ocenia obecnie ryzyko niekontrolowanej, pełnej automatyzacji badań nad AI jako niskie. Firma zapowiada dalszy rozwój narzędzi telemetrycznych i wskaźników, które pozwolą monitorować tempo rozwoju systemów oraz wcześnie wychwycić ewentualne zmiany w dynamice pracy badawczej.