Thinking Machines Lab walczy z losowością w modelach AI

Thinking Machines Lab, startup założony przez Mirę Murati, byłą dyrektor ds. technologii OpenAI, ujawnił pierwsze szczegóły swojego projektu badawczego. Zespół, który zgromadził imponującą kwotę 2 miliardów dolarów finansowania, skupia się na eliminacji losowości w odpowiedziach generowanych przez modele AI.

W opublikowanym poście na blogu zatytułowanym „Defeating Nondeterminism in LLM Inference”, badacze z Thinking Machines Lab analizują przyczyny, dla których modele AI, takie jak ChatGPT, generują różne odpowiedzi na to samo pytanie. Problem ten, powszechnie akceptowany jako naturalna cecha obecnych systemów AI, jest postrzegany przez zespół Murati jako wyzwanie, które można przezwyciężyć.

Autor wpisu, Horace He, argumentuje, że źródłem nieprzewidywalności są GPU kerneli – małe programy działające wewnątrz chipów Nvidii. Sposób, w jaki są one zestawiane podczas przetwarzania wnioskowania (czyli tego, co dzieje się po naciśnięciu „enter” w ChatGPT), wprowadza element losowości. He sugeruje, że precyzyjna kontrola nad tą warstwą orkiestracji może uczynić modele AI bardziej deterministycznymi.

Eliminacja losowości ma przynieść korzyści nie tylko przedsiębiorstwom i naukowcom, którzy potrzebują wiarygodnych odpowiedzi, ale także procesowi uczenia ze wzmocnieniem (RL). W RL modele AI są nagradzane za poprawne odpowiedzi. Jeśli jednak odpowiedzi są za każdym razem nieco inne, dane stają się zaszumione. Ujednolicenie odpowiedzi generowanych przez AI może usprawnić cały proces RL.

Thinking Machines Lab planuje wykorzystać RL do dostosowywania modeli AI do potrzeb biznesowych. Mira Murati zapowiedziała, że pierwszy produkt firmy zostanie zaprezentowany w nadchodzących miesiącach i będzie „użyteczny dla badaczy i startupów tworzących niestandardowe modele”. Nie wiadomo jeszcze, czy produkt ten będzie wykorzystywał techniki opisane w poście na blogu.

Firma zapowiada regularne publikowanie postów na blogu, kodu i innych informacji związanych z prowadzonymi badaniami. Ma to na celu „przyniesienie korzyści społeczeństwu, ale także poprawę naszej własnej kultury badawczej”. Pierwszy wpis na blogu „Connectionism” wydaje się być częścią tej strategii. OpenAI również obiecywało otwarte badania, ale z czasem stało się bardziej zamknięte. Czas pokaże, czy Thinking Machines Lab dotrzyma swoich obietnic.

Publikacja na blogu oferuje rzadki wgląd w działalność jednego z najbardziej tajemniczych startupów AI w Dolinie Krzemowej. Nie ujawnia ona konkretnych planów technologicznych, ale pokazuje, że Thinking Machines Lab zajmuje się rozwiązywaniem kluczowych problemów w dziedzinie sztucznej inteligencji. Prawdziwym wyzwaniem będzie opracowanie produktów opartych na tych badaniach, które uzasadnią wycenę firmy na 12 miliardów dolarów.