FlashTex: Texturizzazione mesh rapidamente riilluminabile con LightControlNet
Author
Venue
ECCV 2024
Abstract
La creazione manuale di texture per mesh 3D richiede molto tempo, anche per i creatori di contenuti visivi esperti. Proponiamo un approccio veloce per la texturizzazione automatica di una mesh 3D in ingresso sulla base di un prompt di testo fornito dall'utente. È importante sottolineare che il nostro approccio separa l'illuminazione dal materiale/riflettanza della superficie nella texture risultante, in modo che la mesh possa essere correttamente rilluminata e renderizzata in qualsiasi ambiente di illuminazione. Introduciamo LightControlNet, un nuovo modello di conversione da testo a immagine basato sull'architettura ControlNet, che consente di specificare l'illuminazione desiderata come immagine di condizionamento per il modello. La nostra pipeline di conversione da testo a texture costruisce quindi la texture in due fasi. La prima fase produce un insieme sparso di viste di riferimento visivamente coerenti della mesh utilizzando LightControlNet. La seconda fase applica un'ottimizzazione della texture basata sul Score Distillation Sampling (SDS) che funziona con LightControlNet per aumentare la qualità della texture separando il materiale della superficie dall'illuminazione. Il nostro algoritmo è significativamente più veloce rispetto ai precedenti metodi di conversione da testo a texture, producendo al contempo texture di alta qualità e rilluminabili.
