FlashTex: Texturizado de mallas con reiluminación rápida mediante LightControlNet
Author
Venue
ECCV 2024
Abstract
Crear texturas manualmente para mallas 3D lleva mucho tiempo, incluso para los creadores de contenido visual expertos. Proponemos un método rápido para texturizar automáticamente una malla 3D de entrada basándonos en una indicación de texto proporcionada por el usuario. Es importante destacar que nuestro método separa la iluminación del material y la reflectancia de la superficie en la textura resultante, de modo que la malla pueda volver a iluminarse y renderizarse correctamente en cualquier entorno de iluminación. Presentamos LightControlNet, un nuevo modelo de texto a imagen basado en la arquitectura ControlNet, que permite especificar la iluminación deseada como imagen condicionante para el modelo. A continuación, nuestro proceso de texto a textura construye la textura en dos etapas. La primera etapa produce un conjunto disperso de vistas de referencia visualmente consistentes de la malla utilizando LightControlNet. La segunda etapa aplica una optimización de textura basada en el muestreo de destilación de puntuación (SDS) que funciona con LightControlNet para aumentar la calidad de la textura al tiempo que separa el material de la superficie de la iluminación. Nuestro algoritmo es significativamente más rápido que los métodos anteriores de texto a textura, al tiempo que produce texturas de alta calidad y reiluminables.
