FlashTex: Tekstur Jaring yang Dapat Diterangi Kembali dengan Cepat menggunakan LightControlNet
Author
Venue
ECCV 2024
Abstract
Membuat tekstur secara manual untuk mesh 3D memakan waktu, bahkan bagi pembuat konten visual yang ahli. Kami mengusulkan pendekatan cepat untuk secara otomatis memberi tekstur pada mesh 3D input berdasarkan prompt teks yang disediakan pengguna. Yang penting, pendekatan kami memisahkan pencahayaan dari material/reflektansi permukaan dalam tekstur yang dihasilkan sehingga mesh dapat diterangi ulang dan dirender dengan benar di lingkungan pencahayaan apa pun. Kami memperkenalkan LightControlNet, model teks-ke-gambar baru berbasis arsitektur ControlNet, yang memungkinkan spesifikasi pencahayaan yang diinginkan sebagai gambar kondisional bagi model. Pipa kerja teks-ke-tekstur kami kemudian membangun tekstur dalam dua tahap. Tahap pertama menghasilkan sekumpulan pandangan referensi yang konsisten secara visual dari mesh menggunakan LightControlNet. Tahap kedua menerapkan optimasi tekstur berdasarkan Score Distillation Sampling (SDS) yang bekerja sama dengan LightControlNet untuk meningkatkan kualitas tekstur sambil memisahkan material permukaan dari pencahayaan. Algoritma kami jauh lebih cepat daripada metode teks-ke-tekstur sebelumnya, sekaligus menghasilkan tekstur berkualitas tinggi dan dapat diterangi ulang.
