Koniec z domysłami AI. System Know3D pozwala zaprojektować niewidoczną stronę obiektu

Największym wyzwaniem w trójwymiarowej rekonstrukcji obrazu nie jest to, co widać, ale to, co pozostaje ukryte przed obiektywem. Gdy algorytm AI otrzymuje zadanie stworzenia modelu 3D na podstawie jednej fotografii, musi samodzielnie „doprojektować” tył obiektu. Efektem są często deformacje lub struktury, które w świecie fizycznym nie miałyby racji bytu. Deficyt wysokiej jakości danych treningowych 3D sprawia, że modele nie posiadają wystarczającej wiedzy o świecie, by bezbłędnie przewidywać niewidoczne formy.

Tekstowa kontrola nad geometrią

Zespół badawczy z kilku chińskich uniwersytetów zaprezentował rozwiązanie o nazwie Know3D. Zamiast zmuszać algorytm do zgadywania, twórcy postanowili wykorzystać potężne zasoby wiedzy ogólnej zawarte w multimodalnych modelach językowych (LLM). Dzięki temu użytkownik może po prostu napisać, jak powinna wyglądać tylna część przedmiotu — czy to plecak z konkretnym rodzajem szelek, czy oparcie krzesła o specyficznej fakturze.

Próba bezpośredniego połączenia modelu językowego z generatorem 3D okazała się jednak nieskuteczna. Reprezentacje danych w LLM są zbyt abstrakcyjne i pozbawione konkretnych informacji przestrzennych. Inżynierowie zastosowali więc sprytny wybieg: w roli „tłumacza” występuje model generujący obrazy (Qwen-Image-Edit), który pośredniczy między modelem językowym (Qwen2.5-VL) a generatorem 3D (Trellis.2 od Microsoftu). Pozwala to na przekształcenie intencji zapisanej w tekście na konkretne wskazówki strukturalne dla finalnego modelu.

Klucz tkwi w stanach pośrednich

Badacze odkryli, że kluczowe dla sukcesu nie jest to, co generator obrazów wypluwa na końcu, ale to, co dzieje się wewnątrz niego podczas pracy. Testy wykazały, że wykorzystanie tak zwanych stanów pośrednich modelu (intermediate states) pozwala uniknąć błędów, które pojawiają się w finalnych bitmapach. Przykładowo, jeśli generator błędnie narysuje dwie szelki zamiast jednej, tradycyjne metody przeniosłyby ten błąd do modelu 3D. Know3D, czerpiąc z głębszych warstw przetwarzania, zachowuje poprawną strukturę geometryczną nawet wtedy, gdy finalny podgląd 2D zawodzi.

Precyzja ma tu swoją miarę. Analizy typu ablation study wykazały, że najlepsze efekty daje pobieranie danych w około jednej czwartej procesu generowania. Zbyt wczesne próbkowanie skupia się na chaosie pikseli, zbyt późne – wprowadza szum informacyjny. Wyniki Know3D w benchmarku HY3D-Bench pokazują dominację nad konkurencją zarówno pod kątem zgodności semantycznej, jak i czystej jakości geometrii.

Potencjał i ograniczenia

Mimo przełomu system nie jest wolny od słabych punktów. Jego skuteczność jest ściśle powiązana z tym, jak dobrze model językowy zrozumie instrukcję użytkownika. Jeśli LLM błędnie zinterpretuje prompt, cała struktura 3D zostanie zniekształcona. Niemniej jednak Know3D otwiera drzwi do znacznie bardziej przewidywalnego i sterowalnego modelowania 3D, w którym użytkownik przestaje być jedynie widzem, a staje się reżyserem niewidocznej dotąd przestrzeni.