Sztuczna inteligencja przyspieszy produkcję. Lego jako poligon doświadczalny

Nowe narzędzie oparte na sztucznej inteligencji, opracowane przez badaczy z School of Computer Science na Carnegie Mellon University, ma potencjał, by radykalnie zmienić sposób, w jaki projektujemy i wytwarzamy przedmioty. BrickGPT, wykorzystując polecenia tekstowe, pomaga ludziom – a nawet robotom – urzeczywistniać pomysły za pomocą klocków Lego. Na podstawie prostego słowa, takiego jak „gitara”, generuje instrukcję krok po kroku, umożliwiającą zbudowanie fizycznie stabilnego modelu z klocków. Choć obecnie narzędzie koncentruje się na Lego, to przełożenie tekstu na stabilną fizycznie konstrukcję wykracza daleko poza zabawę.

„Nasze badania otwierają drogę do generatywnej produkcji, w której użytkownicy mogą wykorzystywać modele generatywne do projektowania przedmiotów codziennego użytku, które następnie mogą samodzielnie zbudować” – wyjaśnia Jun-Yan Zhu, profesor robotyki w CMU’s Robotics Institute (RI). „Będą mogli zbudować krzesło, sofę lub zabawkę dla dzieci. To nowy obszar zastosowań tych modeli, wykraczający poza tworzenie zdjęć czy filmów na media społecznościowe. Klocki Lego są prostym medium, a zarazem dobrym punktem wyjścia.”

Badacze podkreślają, że połączenie AI i robotyki może znacząco przyspieszyć proces projektowania i budowy nowych rzeczy. „To ogromna korzyść dla świata produkcji” – dodaje Changliu Liu, profesor RI. „Przekształcenie pomysłu w fizyczny projekt i prototyp zajmuje dużo czasu. Integracja generatywnej AI w ten proces może znacząco poprawić wydajność i usunąć przeszkody na starcie projektów.”

Obecnie demonstracyjna wersja BrickGPT potrafi generować instrukcje krok po kroku dla ludzi i robotów, umożliwiając budowę 21 różnych modeli z klocków Lego, takich jak budka dla ptaków, sofa czy pianino. Użytkownik wpisuje np. „sofa”, a BrickGPT generuje model 3D. Algorytm przekształca go w strukturę z klocków, a następnie sprawdza stabilność konstrukcji. Człowiek lub ramię robota mogą następnie postępować zgodnie z instrukcjami i zbudować sofę.

Aby wytrenować BrickGPT, badacze stworzyli StableText2Brick, zbiór danych zawierający ponad 47 000 struktur z klocków, zbudowanych z ponad 28 000 unikalnych obiektów 3D, wraz ze szczegółowymi opisami. Wykorzystano istniejący zbiór kształtów 3D, ShapeNetCore, i przekształcono go w siatkę małych kostek, czyli dokonano wokselizacji. Następnie wytrenowano autoregresyjny duży model językowy (LLM), który przewiduje przyszłe wartości na podstawie poprzednich.

W BrickGPT, LLM przewiduje kolejny klocek na podstawie poprzedniego, zapewniając stabilność konstrukcji. W przypadku błędu, BrickGPT cofa się i eliminuje niestabilne punkty. „Jeśli struktura jest niestabilna, uruchamiamy proces wycofywania” – wyjaśnia Ava Pun, doktorantka Computer Science Department. „Model określa, które klocki były nieprawidłowe lub niestabilne i wracamy do punktu przed nimi. Wykrywamy niestabilność za pomocą algorytmu rozumowania fizycznego, który generuje ocenę stabilności dla każdego klocka w strukturze. Wysoki wynik oznacza stabilność klocka.”

Badacze planują dalszy rozwój modelu, aby umożliwić generowanie większej liczby obiektów niż obecne 21. Chcą również poszerzyć bibliotekę dostępnych elementów, aby zwiększyć dokładność i złożoność generowanych projektów. Projekt ten, choć bazuje na zabawie klockami, ma ambicję realnie wpłynąć na przyspieszenie procesów produkcyjnych i prototypowania.