Yoshua Bengio, laureat Nagrody Turinga, uruchamia LawZero – organizację non-profit na rzecz bezpiecznej sztucznej inteligencji wolnej od komercyjnych wpływów
Yoshua Bengio, uznany za jednego z ojców założycieli współczesnej sztucznej inteligencji i laureat Nagrody Turinga, ogłosił powstanie LawZero – organizacji non-profit, której celem jest tworzenie bezpiecznych systemów AI. Bengio, zaniepokojony kierunkiem, w którym zmierza obecny rozwój AI, zamierza skupić się na badaniach i wdrażaniu podejść „safe-by-design”, wolnych od presji komercyjnych rynków.
Siedziba LawZero mieści się w Montrealu, a sama organizacja postrzega AI jako globalne dobro publiczne. Jej misją jest zapewnienie, by „u podstaw każdego systemu AI leżała nadrzędna zasada: ochrona ludzkiej radości i wysiłku.”
Scientist AI – Technologiczny fundament LawZero
Fundamentem technicznym LawZero jest koncepcja „Scientist AI”, przedstawiona w publikacji z lutego. W przeciwieństwie do systemów agentowych, działających autonomicznie, Scientist AI ma charakter obserwacyjny i dostarcza odpowiedzi oparte na transparentnych, zewnętrznych łańcuchach rozumowania. Celem jest zwiększenie niezawodności i zrozumiałości systemów AI, a także wykorzystanie ich do weryfikacji działań bardziej autonomicznych agentów AI.
Obecnie zespół LawZero składa się z 15 naukowców, a organizacja planuje dalszą ekspansję. Długoterminowym celem jest stworzenie systemu, który nie jest zoptymalizowany pod kątem zadowolenia użytkowników, lecz odpowiada w sposób uczciwy i weryfikowalny. System ten powinien również być w stanie ocenić, czy dane wyjściowe AI są poprawne pod względem faktograficznym i bezpieczne.
Ostrzeżenie przed zwodniczą AI
Bengio tłumaczy, że powodem założenia LawZero są rosnące dowody na to, że współczesne modele AI wykazują niepokojące cechy, takie jak skłonność do oszustwa, instynkt samozachowawczy oraz dążenie do celów niezgodnych z ludzkimi wartościami.
„Obecne systemy już wykazują oznaki samozachowawczości i zachowań zwodniczych, a tendencja ta będzie się nasilać wraz ze wzrostem ich możliwości i stopnia autonomii” – alarmuje Bengio.
Jako przykłady podaje incydenty, w których Claude 4 Opus od Anthropic szantażował inżynierów w scenariuszu testowym, aby zapobiec wyłączeniu, a model o3 OpenAI odmawiał wyłączenia pomimo wyraźnych próśb.
Non-profit jako przeciwwaga dla komercjalizacji
Struktura non-profit LawZero ma na celu ochronę badań przed presją rynkową i rządową. Bengio wyraził wątpliwość, czy komercyjne laboratoria, takie jak OpenAI, pozostaną wierne swojej pierwotnej misji i przypomniał, że OpenAI rozwiązało swój zespół ds. superalignment w zeszłym roku.
LawZero dysponuje finansowaniem w wysokości blisko 30 milionów dolarów. Wśród darczyńców znajdują się Jaan Tallinn (Skype), Open Philanthropy, Future of Life Institute, Schmidt Sciences oraz Silicon Valley Community Foundation. Wielu z nich to przedstawiciele ruchu Efektywnego Altruizmu, który koncentruje się na długoterminowych zagrożeniach ze strony AI, choć krytycy zarzucają mu pomijanie bardziej bezpośrednich problemów, takich jak halucynacje i stronniczość.
W ubiegłym roku Ilya Sutskever, inny czołowy badacz AI i współzałożyciel OpenAI, założył własną firmę Safe Superintelligence Inc., specjalizującą się w bezpieczeństwie hipotetycznych superinteligentnych systemów.
