FlashTex: Kỹ thuật tạo kết cấu lưới có thể điều chỉnh ánh sáng nhanh chóng với LightControlNet
Author
Venue
ECCV 2024
Abstract
Việc tạo kết cấu thủ công cho lưới 3D rất tốn thời gian, ngay cả đối với những người sáng tạo nội dung hình ảnh chuyên nghiệp. Chúng tôi đề xuất một phương pháp nhanh chóng để tự động tạo kết cấu cho lưới 3D đầu vào dựa trên lời nhắc văn bản do người dùng cung cấp. Điều quan trọng là, phương pháp của chúng tôi tách biệt ánh sáng khỏi vật liệu bề mặt/độ phản xạ trong kết cấu thu được, để lưới có thể được chiếu sáng lại và hiển thị chính xác trong bất kỳ môi trường ánh sáng nào. Chúng tôi giới thiệu LightControlNet, một mô hình chuyển văn bản thành hình ảnh mới dựa trên kiến trúc ControlNet, cho phép chỉ định ánh sáng mong muốn dưới dạng hình ảnh điều kiện cho mô hình. Quy trình chuyển văn bản thành kết cấu của chúng tôi sau đó xây dựng kết cấu theo hai giai đoạn. Giai đoạn đầu tiên tạo ra một tập hợp thưa thớt các góc nhìn tham chiếu nhất quán về mặt thị giác của lưới bằng cách sử dụng LightControlNet. Giai đoạn thứ hai áp dụng tối ưu hóa kết cấu dựa trên Score Distillation Sampling (SDS), hoạt động cùng với LightControlNet để nâng cao chất lượng kết cấu đồng thời tách biệt vật liệu bề mặt khỏi ánh sáng. Thuật toán của chúng tôi nhanh hơn đáng kể so với các phương pháp chuyển đổi văn bản thành kết cấu trước đây, đồng thời tạo ra các kết cấu chất lượng cao và có thể tái chiếu sáng.
