CubePart: un generatore 3D a vocabolario aperto e controllabile per parti

Le risorse 3D interattive utilizzate nei giochi e nelle simulazioni sono tipicamente scomposte in parti semantiche specifiche per supportare l'animazione, la fisica e i comportamenti scriptati, tuttavia la maggior parte dei modelli 3D generativi produce mesh monolitiche o decomposizioni arbitrarie delle parti che non possono essere allineate con i requisiti specifici dell'applicazione. Presentiamo CubePart, un framework generativo per la generazione di mesh 3D a vocabolario aperto e controllabili per parte che espone la struttura delle parti come un segnale di controllo esplicito in fase di inferenza. Dato un prompt di testo globale e uno schema di parti definito dall'utente espresso come un elenco aperto di nomi di parti, il nostro metodo genera un insieme di mesh - una per ogni elemento dello schema - che si assemblano in un oggetto coerente rispettando la struttura semantica specificata. Per abilitare questa funzionalità, introduciamo una pipeline di dati scalabile per costruire un ampio set di dati 3D a vocabolario aperto ed etichettato per parte, insieme a un'architettura generativa a due stadi che separa la sintesi della forma globale dalla decodifica a livello di parte. Dimostriamo che le risorse risultanti possono essere integrate direttamente nei motori di gioco e guidate da script di animazione e comportamento senza post-elaborazione manuale. Pagina del progetto