FlashTex: Szybkie teksturowanie siatki z możliwością ponownego oświetlenia za pomocą LightControlNet
Author
Venue
ECCV 2024
Abstract
Ręczne tworzenie tekstur dla siatek 3D jest czasochłonne, nawet dla doświadczonych twórców treści wizualnych. Proponujemy szybkie podejście do automatycznego teksturowania siatki 3D na podstawie podanego przez użytkownika tekstu. Co ważne, nasze podejście oddziela oświetlenie od materiału powierzchniowego/odbicia światła w wynikowej teksturze, dzięki czemu siatka może być odpowiednio oświetlona i renderowana w dowolnym środowisku oświetleniowym. Przedstawiamy LightControlNet, nowy model tekst-obraz oparty na architekturze ControlNet, który pozwala na określenie pożądanego oświetlenia jako obrazu warunkującego dla modelu. Nasz proces tekst-tekstura tworzy następnie teksturę w dwóch etapach. Pierwszy etap generuje rzadki zestaw wizualnie spójnych widoków referencyjnych siatki przy użyciu LightControlNet. Drugi etap stosuje optymalizację tekstury opartą na Score Distillation Sampling (SDS), która współpracuje z LightControlNet w celu zwiększenia jakości tekstury przy jednoczesnym oddzieleniu materiału powierzchni od oświetlenia. Nasz algorytm jest znacznie szybszy niż poprzednie metody tekst-tekstura, a jednocześnie generuje wysokiej jakości tekstury, które można ponownie oświetlić.
