CubePart: een 3D-generator met open vocabulaire en regelbare onderdelen

Interactieve 3D-assets die in games en simulaties worden gebruikt, worden doorgaans opgesplitst in specifieke semantische onderdelen ter ondersteuning van animatie, fysica en gescripte gedragingen, maar de meeste generatieve 3D-modellen produceren ofwel monolithische meshes ofwel willekeurige opdelingen van onderdelen die niet kunnen worden afgestemd op toepassingsspecifieke vereisten. We presenteren CubePart, een generatief framework voor het genereren van 3D-meshes met een open vocabulaire en controleerbare onderdelen, dat de onderdeelstructuur blootlegt als een expliciet controlesignaal tijdens de inferentietijd. Op basis van een globale tekstprompt en een door de gebruiker gedefinieerd onderdeelschema, uitgedrukt als een open lijst met onderdeelnamen, genereert onze methode een reeks meshes – één per schema-element – die samen een coherent object vormen met inachtneming van de gespecificeerde semantische structuur. Om deze functionaliteit mogelijk te maken, introduceren we een schaalbare datapijplijn voor het samenstellen van een grote 3D-dataset met open vocabulaire en gelabelde onderdelen, samen met een generatieve architectuur in twee fasen die de synthese van de globale vorm scheidt van de decodering op onderdeelniveau. We tonen aan dat de resulterende assets direct kunnen worden geïntegreerd in game-engines en aangestuurd door animatie- en gedragsscripts zonder handmatige nabewerking. Projectpagina