FlashTex: LightControlNetతో వేగవంతమైన, తిరిగి వెలిగించగల మెష్ టెక్స్చరింగ్
Author
Venue
ECCV 2024
Abstract
3D మెష్ల కోసం మాన్యువల్గా టెక్స్చర్లను సృష్టించడం, నిపుణులైన విజువల్ కంటెంట్ సృష్టికర్తలకు కూడా ఎక్కువ సమయం తీసుకుంటుంది. మేము వినియోగదారు-అందించిన టెక్స్ట్ ప్రాంప్ట్ ఆధారంగా ఒక ఇన్పుట్ 3D మెష్కు ఆటోమేటిక్గా టెక్స్చర్ను అప్లై చేసే వేగవంతమైన విధానాన్ని ప్రతిపాదిస్తున్నాము. ముఖ్యంగా, మా విధానం ఫలితంగా వచ్చే టెక్స్చర్లో లైటింగ్ను ఉపరితల మెటీరియల్/రిఫ్లెక్టెన్స్ నుండి వేరు చేస్తుంది, తద్వారా మెష్ను ఏ లైటింగ్ వాతావరణంలోనైనా సరిగ్గా రీ-లైట్ చేసి రెండర్ చేయవచ్చు. మేము లైట్కంట్రోల్నెట్ను పరిచయం చేస్తున్నాము, ఇది కంట్రోల్నెట్ ఆర్కిటెక్చర్పై ఆధారపడిన ఒక కొత్త టెక్స్ట్-టు-ఇమేజ్ మోడల్. ఇది కావలసిన లైటింగ్ను ఒక కండిషనింగ్ ఇమేజ్గా మోడల్కు పేర్కొనడానికి అనుమతిస్తుంది. ఆ తర్వాత మా టెక్స్ట్-టు-టెక్స్చర్ పైప్లైన్ రెండు దశలలో టెక్స్చర్ను నిర్మిస్తుంది. మొదటి దశ, లైట్కంట్రోల్నెట్ను ఉపయోగించి మెష్ యొక్క దృశ్యపరంగా స్థిరమైన రిఫరెన్స్ వీక్షణల యొక్క ఒక అరుదైన సెట్ను ఉత్పత్తి చేస్తుంది. రెండవ దశ, స్కోర్ డిస్టిలేషన్ శాంప్లింగ్ (SDS) ఆధారిత టెక్స్చర్ ఆప్టిమైజేషన్ను వర్తింపజేస్తుంది, ఇది లైట్కంట్రోల్నెట్తో కలిసి పనిచేసి టెక్స్చర్ నాణ్యతను పెంచుతుంది, అదే సమయంలో ఉపరితల మెటీరియల్ను లైటింగ్ నుండి వేరు చేస్తుంది. మా అల్గారిథమ్, అధిక-నాణ్యత మరియు తిరిగి లైటింగ్ చేయగల టెక్స్చర్లను ఉత్పత్తి చేస్తూ, మునుపటి టెక్స్ట్-టు-టెక్స్చర్ పద్ధతుల కంటే గణనీయంగా వేగంగా ఉంటుంది.
