FlashTex: LightControlNet-এর মাধ্যমে দ্রুত পুনঃআলোকিতযোগ্য মেষ টেক্সচারিং
Author
Venue
ইসিসিভি ২০২৪
Abstract
3D মেশের জন্য ম্যানুয়ালি টেক্সচার তৈরি করা সময়সাপেক্ষ, এমনকি দক্ষ ভিজ্যুয়াল কন্টেন্ট নির্মাতাদের জন্যও। আমরা ব্যবহারকারী-প্রদত্ত টেক্সট প্রম্পটের ভিত্তিতে ইনপুট 3D মেশকে স্বয়ংক্রিয়ভাবে টেক্সচার করার একটি দ্রুত পদ্ধতি প্রস্তাব করছি। গুরুত্বপূর্ণভাবে, আমাদের পদ্ধতি ফলাফলস্বরূপ টেক্সচারে আলোকে পৃষ্ঠের উপাদান/প্রতিফলন থেকে পৃথক করে, যাতে মেশটি যেকোনো আলোর পরিবেশে সঠিকভাবে পুনরায় আলোকিত ও রেন্ডার করা যায়। আমরা ControlNet আর্কিটেকচারের উপর ভিত্তি করে একটি নতুন টেক্সট-টু-ইমেজ মডেল LightControlNet উপস্থাপন করছি, যা মডেলে কাঙ্ক্ষিত আলোকে একটি কন্ডিশনিং ইমেজ হিসেবে নির্দিষ্ট করার সুযোগ দেয়। এরপর আমাদের টেক্সট-টু-টেক্সচার পাইপলাইন দুই ধাপে টেক্সচার তৈরি করে। প্রথম ধাপটি LightControlNet ব্যবহার করে মেশের দৃশ্যত সামঞ্জস্যপূর্ণ রেফারেন্স ভিউয়ের একটি বিরল সেট তৈরি করে। দ্বিতীয় ধাপটি Score Distillation Sampling (SDS) ভিত্তিক একটি টেক্সচার অপ্টিমাইজেশন প্রয়োগ করে, যা LightControlNet-এর সাথে কাজ করে টেক্সচারের গুণমান বৃদ্ধি করে এবং একই সাথে পৃষ্ঠের উপাদানকে আলো থেকে পৃথক করে। আমাদের অ্যালগরিদম পূর্ববর্তী টেক্সট-টু-টেক্সচার পদ্ধতির তুলনায় উল্লেখযোগ্যভাবে দ্রুত, এবং উচ্চ-মানের ও পুনঃআলোকিতযোগ্য টেক্সচার তৈরি করে।
