Computer Vision
3D
FlashTex：基于LightControlNet的快速可重光照网格纹理映射
Author
Venue
ECCV 2024
Abstract
即使对于专业的视觉内容创作者而言，手动为3D网格创建纹理也十分耗时。我们提出了一种基于用户提供的文本提示，自动为输入3D网格添加纹理的快速方法。重要的是，我们的方法将生成的纹理中的光照与表面材质/反射率解耦，从而使网格能够在任何光照环境下被正确重光并渲染。 我们推出 LightControlNet，这是一个基于 ControlNet 架构的新型文本到图像模型，允许将期望的光照作为条件图像提供给模型。随后，我们的文本到纹理管道通过两个阶段构建纹理。 第一阶段利用 LightControlNet 生成一组视觉上连贯的网格稀疏参考视图。第二阶段应用基于分数蒸馏采样（SDS）的纹理优化算法，该算法与 LightControlNet 协同工作，在分离表面材质与光照的同时提升纹理质量。我们的算法不仅比以往的文本到纹理方法快得多，还能生成高质量且可重新打光（relightable）的纹理。
