Computer Vision
3D
FlashTex: LightControlNet을 활용한 고속 재조명 가능 메쉬 텍스처링
Author
Venue
ECCV 2024
Abstract
3D 메시에 대한 텍스처를 수동으로 생성하는 작업은 숙련된 시각 콘텐츠 제작자에게도 시간이 많이 소요됩니다. 본 연구에서는 사용자가 제공한 텍스트 프롬프트를 기반으로 입력된 3D 메시에 자동으로 텍스처를 적용하는 빠른 접근법을 제안합니다. 특히, 본 접근법은 생성된 텍스처에서 조명과 표면 재질/반사율을 분리하여, 어떤 조명 환경에서도 메시를 적절하게 재조명하고 렌더링할 수 있도록 합니다. 우리는 ControlNet 아키텍처를 기반으로 한 새로운 텍스트-이미지 모델인 LightControlNet을 소개합니다. 이 모델은 원하는 조명을 모델에 대한 조건부 이미지로 지정할 수 있게 해줍니다. 이후 우리의 텍스트-텍스처 파이프라인은 두 단계에 걸쳐 텍스처를 생성합니다. 첫 번째 단계에서는 LightControlNet을 사용하여 시각적으로 일관된 메쉬 참조 뷰의 스파스(sparse) 집합을 생성합니다. 두 번째 단계에서는 LightControlNet과 연동되는 SDS(Score Distillation Sampling) 기반 텍스처 최적화를 적용하여, 표면 재질을 조명과 분리하는 동시에 텍스처 품질을 향상시킵니다. 본 알고리즘은 기존 텍스트-투-텍스처 방식보다 훨씬 빠르면서도 고품질의 재조명이 가능한 텍스처를 생성합니다.
