FlashTex: نسيج شبكي سريع إعادة الإضاءة باستخدام LightControlNet
Author
Venue
ECCV 2024
Abstract
يستغرق إنشاء النسيج يدويًا للشبكات ثلاثية الأبعاد وقتًا طويلاً، حتى بالنسبة لمبدعي المحتوى المرئي الخبراء. نقترح نهجًا سريعًا لإنشاء نسيج تلقائيًا لشبكة ثلاثية الأبعاد مدخلة بناءً على موجه نصي يقدمه المستخدم. والأهم من ذلك، أن نهجنا يفصل الإضاءة عن مادة السطح/الانعكاس في النسيج الناتج بحيث يمكن إعادة إضاءة الشبكة وعرضها بشكل صحيح في أي بيئة إضاءة. نقدم LightControlNet، وهو نموذج جديد لتحويل النص إلى صورة يعتمد على بنية ControlNet، والذي يسمح بتحديد الإضاءة المطلوبة كصورة تكييفية للنموذج. ثم تقوم سلسلة عمليات تحويل النص إلى نسيج لدينا ببناء النسيج على مرحلتين. تنتج المرحلة الأولى مجموعة متفرقة من العروض المرجعية المتسقة بصريًا للشبكة باستخدام LightControlNet. تطبق المرحلة الثانية تحسينًا للنسيج استنادًا إلى Score Distillation Sampling (SDS) الذي يعمل مع LightControlNet لزيادة جودة النسيج مع فصل مادة السطح عن الإضاءة. خوارزميتنا أسرع بكثير من طرق تحويل النص إلى نسيج السابقة، مع إنتاج نسيج عالي الجودة وقابل لإعادة الإضاءة.
