FlashTex: LightControlNet ile Hızlı Yeniden Aydınlatılabilir Mesh Dokulandırma
Author
Venue
ECCV 2024
Abstract
3D ağlar için dokuları manuel olarak oluşturmak, uzman görsel içerik yaratıcıları için bile zaman alıcı bir iştir. Kullanıcı tarafından sağlanan metin komutuna dayalı olarak, girdi 3D ağını otomatik olarak dokulandırmak için hızlı bir yaklaşım öneriyoruz. Önemli olarak, yaklaşımımız sonuçtaki dokuda aydınlatmayı yüzey malzemesi/yansıtma özelliğinden ayırır, böylece ağ herhangi bir aydınlatma ortamında düzgün bir şekilde yeniden aydınlatılabilir ve işlenebilir. ControlNet mimarisine dayanan ve modele istenen aydınlatmanın bir koşullandırma görüntüsü olarak belirtilmesine olanak tanıyan yeni bir metin-görüntü modeli olan LightControlNet'i tanıtıyoruz. Metin-doku iş akışımız daha sonra dokuyu iki aşamada oluşturur. İlk aşama, LightControlNet'i kullanarak ağın görsel olarak tutarlı bir dizi seyrek referans görünümünü üretir. İkinci aşama, yüzey malzemesini aydınlatmadan ayırırken doku kalitesini artırmak için LightControlNet ile birlikte çalışan Score Distillation Sampling (SDS) temelli bir doku optimizasyonu uygular. Algoritmamız, yüksek kaliteli ve yeniden aydınlatılabilir dokular üretirken, önceki metinden dokuya yöntemlerinden önemli ölçüde daha hızlıdır.
