FlashTex: LightControlNet वापरून जलद आणि पुन्हा प्रकाशयोज्य मेष टेक्सचरिंग
Author
Venue
ECCV 2024
Abstract
3D मेशसाठी मॅन्युअली टेक्सचर तयार करणे वेळखाऊ असते, अगदी तज्ज्ञ दृश्य सामग्री निर्मात्यांसाठीही. आम्ही वापरकर्त्याने दिलेल्या मजकूर प्रॉम्प्टवर आधारित इनपुट 3D मेशचे स्वयंचलितपणे टेक्सचर करण्यासाठी एक जलद पद्धत सुचवितो. महत्त्वाचे म्हणजे, आमची पद्धत तयार झालेल्या टेक्सचरमध्ये प्रकाशयोजना आणि पृष्ठभागावरील साहित्य/परावर्तन यांना वेगळे करते, ज्यामुळे मेश कोणत्याही प्रकाश वातावरणात योग्यरित्या पुन्हा प्रकाशित आणि रेंडर करता येते. आम्ही ControlNet आर्किटेक्चरवर आधारित एक नवीन टेक्स्ट-टू-इमेज मॉडेल LightControlNet सादर करतो, जे मॉडेलला इच्छित प्रकाश एक कंडीशनिंग प्रतिमा म्हणून निर्दिष्ट करण्यास परवानगी देते. आमची टेक्स्ट-टू-टेक्सचर पाइपलाइन नंतर दोन टप्प्यांमध्ये टेक्सचर तयार करते. पहिल्या टप्प्यात LightControlNet वापरून मेशचे दृश्यदृष्ट्या सुसंगत संदर्भ दृश्यांचा एक विरळ संच तयार होतो. दुसऱ्या टप्प्यात Score Distillation Sampling (SDS) वर आधारित टेक्सचर ऑप्टिमायझेशन लागू केले जाते, जे LightControlNet सोबत काम करून टेक्सचरची गुणवत्ता वाढवते आणि पृष्ठभागावरील साहित्य प्रकाशयोजनेपासून वेगळे करते. आमचा अल्गोरिदम पूर्वीच्या टेक्स्ट-टू-टेक्सचर पद्धतींपेक्षा खूप जलद आहे, आणि उच्च-गुणवत्तेची व पुन्हा प्रकाशयोजनेयोग्य टेक्सचर तयार करतो.
