FlashTex: การสร้างพื้นผิวตาข่ายที่จุดไฟใหม่ได้อย่างรวดเร็วด้วย LightControlNet
Author
Venue
ECCV 2024
Abstract
การสร้างพื้นผิวสำหรับตาข่าย 3D ด้วยตนเองนั้นใช้เวลานาน แม้แต่สำหรับผู้สร้างเนื้อหาภาพที่มีความเชี่ยวชาญ เราขอเสนอวิธีการที่รวดเร็วในการสร้างพื้นผิวให้กับตาข่าย 3D ที่ป้อนเข้าโดยอัตโนมัติ โดยอิงจากข้อความที่ผู้ใช้ให้มา สิ่งสำคัญคือ วิธีการของเราแยกแสงออกจากวัสดุพื้นผิว/การสะท้อนในพื้นผิวที่ได้ เพื่อให้ตาข่ายสามารถถูกจัดแสงและเรนเดอร์ได้อย่างเหมาะสมในสภาพแวดล้อมแสงใด ๆ เราขอแนะนำ LightControlNet ซึ่งเป็นโมเดลสร้างภาพจากข้อความแบบใหม่ที่พัฒนาขึ้นบนสถาปัตยกรรม ControlNet โดยสามารถระบุลักษณะแสงที่ต้องการเป็นภาพปรับเงื่อนไขให้กับโมเดลได้ จากนั้นกระบวนการสร้างพื้นผิวจากข้อความของเราจะสร้างพื้นผิวในสองขั้นตอน ขั้นตอนแรกสร้างชุดมุมมองอ้างอิงของเมชที่มีความสม่ำเสมอทางสายตาโดยใช้ LightControlNet ขั้นตอนที่สองใช้การเพิ่มประสิทธิภาพของพื้นผิวตามการสุ่มตัวอย่างการกลั่นคะแนน (SDS) ที่ทำงานร่วมกับ LightControlNet เพื่อเพิ่มคุณภาพของพื้นผิวในขณะที่แยกวัสดุพื้นผิวออกจากแสงสว่าง อัลกอริทึมของเราเร็วกว่าวิธีการแปลงข้อความเป็นพื้นผิวแบบเดิมอย่างมีนัยสำคัญ ในขณะที่ยังคงผลิตพื้นผิวคุณภาพสูงที่สามารถปรับแสงใหม่ได้
