Computer Vision
3D
FlashTex：LightControlNetを用いた高速再照明可能なメッシュテクスチャリング
Author
Venue
ECCV 2024
Abstract
3Dメッシュのテクスチャを手作業で作成するのは、熟練したビジュアルコンテンツクリエイターであっても時間のかかる作業です。本研究では、ユーザーが指定したテキストプロンプトに基づいて、入力された3Dメッシュに自動的にテクスチャを適用する高速な手法を提案します。重要な点として、本手法では生成されるテクスチャにおいて照明と表面の材質・反射率を分離しているため、どのような照明環境下でもメッシュを適切に再照明し、レンダリングすることが可能です。 我々は、ControlNetアーキテクチャに基づく新しいテキストから画像への生成モデルであるLightControlNetを導入する。これにより、モデルへの条件付け画像として、望ましい照明を指定することが可能となる。その後、我々のテキストからテクスチャへのパイプラインは、2つの段階でテクスチャを構築する。 第1段階では、LightControlNetを用いて、視覚的に一貫性のあるメッシュの参照ビューの疎なセットを生成します。第2段階では、LightControlNetと連携して表面の材質と照明を分離しつつテクスチャ品質を向上させる、Score Distillation Sampling（SDS）に基づくテクスチャ最適化を適用します。本アルゴリズムは、高品質で再照明可能なテクスチャを生成しつつ、従来のテキストからテクスチャへの変換手法よりも大幅に高速です。
