FlashTex: LightControlNet के साथ तेज़ पुनःप्रकाशित होने वाली जाली बनावट
Author
Venue
ईसीसीवी 2024
Abstract
3D मेश के लिए मैन्युअल रूप से टेक्सचर बनाना समय लेने वाला काम है, यहां तक कि विशेषज्ञ विज़ुअल कंटेंट क्रिएटर्स के लिए भी। हम उपयोगकर्ता द्वारा प्रदान किए गए टेक्स्ट प्रॉम्प्ट के आधार पर एक इनपुट 3D मेश को स्वचालित रूप से टेक्सचर देने के लिए एक तेज़ तरीका प्रस्तावित करते हैं। महत्वपूर्ण रूप से, हमारा तरीका परिणामी टेक्सचर में सतह की सामग्री/परावर्तन से प्रकाश को अलग करता है ताकि मेश को किसी भी प्रकाश वातावरण में ठीक से फिर से रोशन और रेंडर किया जा सके। हम लाइटकंट्रोलनेट (LightControlNet) पेश करते हैं, जो कंट्रोलनेट (ControlNet) आर्किटेक्चर पर आधारित एक नया टेक्स्ट-टू-इमेज मॉडल है, जो मॉडल को एक कंडीशनिंग इमेज के रूप में वांछित लाइटिंग निर्दिष्ट करने की अनुमति देता है। हमारी टेक्स्ट-टू-टेक्सचर पाइपलाइन फिर दो चरणों में टेक्सचर का निर्माण करती है। पहला चरण LightControlNet का उपयोग करके मेश के दृश्य रूप से सुसंगत संदर्भ दृश्यों का एक विरल सेट उत्पन्न करता है। दूसरा चरण स्कोर डिस्टिलेशन सैंपलिंग (SDS) पर आधारित एक टेक्सचर ऑप्टिमाइज़ेशन लागू करता है जो LightControlNet के साथ मिलकर टेक्सचर की गुणवत्ता बढ़ाने और सतह सामग्री को प्रकाश से अलग करने का काम करता है। हमारा एल्गोरिदम पिछले टेक्स्ट-टू-टेक्सचर तरीकों की तुलना में काफी तेज़ है, और साथ ही उच्च-गुणवत्ता वाले और फिर से रोशन करने योग्य टेक्सचर भी उत्पन्न करता है।
