FlashTex: Schnell neu beleuchtbare Mesh-Texturierung mit LightControlNet
Author
Venue
ECCV 2024
Abstract
Das manuelle Erstellen von Texturen für 3D-Meshes ist selbst für erfahrene Entwickler visueller Inhalte zeitaufwändig. Wir schlagen einen schnellen Ansatz vor, um ein eingegebenes 3D-Mesh auf der Grundlage einer vom Benutzer bereitgestellten Textvorlage automatisch zu texturieren. Wichtig ist, dass unser Ansatz die Beleuchtung von Oberflächenmaterial und Reflektanz in der resultierenden Textur entkoppelt, sodass das Mesh in jeder Beleuchtungsumgebung korrekt neu beleuchtet und gerendert werden kann. Wir stellen LightControlNet vor, ein neues Text-zu-Bild-Modell auf Basis der ControlNet-Architektur, das die Angabe der gewünschten Beleuchtung als Konditionierungsbild für das Modell ermöglicht. Unsere Text-zu-Textur-Pipeline erstellt die Textur dann in zwei Schritten. In der ersten Stufe wird mithilfe von LightControlNet eine spärliche Menge visuell konsistenter Referenzansichten des Netzes erzeugt. In der zweiten Stufe wird eine Texturoptimierung auf Basis von Score Distillation Sampling (SDS) angewendet, die mit LightControlNet zusammenarbeitet, um die Texturqualität zu erhöhen und gleichzeitig das Oberflächenmaterial von der Beleuchtung zu entkoppeln. Unser Algorithmus ist deutlich schneller als bisherige Text-zu-Textur-Methoden und erzeugt gleichzeitig hochwertige und neu beleuchtbare Texturen.
