CubePart: generator 3D z otwartym słownictwem i możliwością sterowania częściami

Interaktywne zasoby 3D wykorzystywane w grach i symulacjach są zazwyczaj rozkładane na konkretne części semantyczne w celu obsługi animacji, fizyki i zachowań skryptowych, jednak większość generatywnych modeli 3D tworzy albo monolityczne siatki, albo arbitralne rozkłady części, których nie da się dostosować do wymagań konkretnych aplikacji. Przedstawiamy CubePart, generatywny framework do generowania siatek 3D o otwartym słowniku i kontrolowanych częściach, który ujawnia strukturę części jako wyraźny sygnał sterujący w czasie wnioskowania. Biorąc pod uwagę globalny tekstowy prompt oraz zdefiniowany przez użytkownika schemat części wyrażony jako otwarta lista nazw części, nasza metoda generuje zestaw siatek – po jednej na każdy element schematu – które składają się na spójny obiekt, zachowując jednocześnie określoną strukturę semantyczną. Aby umożliwić tę funkcjonalność, wprowadzamy skalowalny potok danych do tworzenia dużego zbioru danych 3D o otwartym słowniku i oznaczonych częściach, wraz z dwuetapową architekturą generatywną, która oddziela globalną syntezę kształtu od dekodowania na poziomie części. Pokazujemy, że powstałe zasoby można bezpośrednio zintegrować z silnikami gier i sterować nimi za pomocą skryptów animacji i zachowań bez ręcznej obróbki końcowej. Strona projektu