FlashTex: snel opnieuw verlichtbare mesh-texturering met LightControlNet
Author
Venue
ECCV 2024
Abstract
Het handmatig maken van texturen voor 3D-meshes is tijdrovend, zelfs voor ervaren makers van visuele content. We stellen een snelle aanpak voor om automatisch textuur aan te brengen op een ingevoerde 3D-mesh op basis van een door de gebruiker opgegeven tekstprompt. Belangrijk is dat onze aanpak de belichting loskoppelt van het oppervlaktemateriaal/de reflectie in de resulterende textuur, zodat de mesh correct opnieuw kan worden belicht en weergegeven in elke lichtomgeving. We introduceren LightControlNet, een nieuw tekst-naar-beeld-model gebaseerd op de ControlNet-architectuur, waarmee de gewenste belichting als een conditionerend beeld aan het model kan worden gespecificeerd. Onze tekst-naar-textuur-pijplijn construeert vervolgens de textuur in twee fasen. De eerste fase produceert een schaarse set visueel consistente referentieweergaven van de mesh met behulp van LightControlNet. De tweede fase past een textuuroptimalisatie toe op basis van Score Distillation Sampling (SDS), die samenwerkt met LightControlNet om de textuurkwaliteit te verhogen en tegelijkertijd het oppervlaktemateriaal los te koppelen van de belichting. Ons algoritme is aanzienlijk sneller dan eerdere tekst-naar-textuur-methoden, terwijl het texturen van hoge kwaliteit produceert die opnieuw kunnen worden belicht.
