3D
基于视频的快速面部动画
Author
Venue
ACM SIGGRAPH 2021 演讲
Abstract
虚拟3D角色的实时面部动画在AR/VR、交互式3D娱乐、预可视化和视频会议等领域具有重要应用。尽管在面部追踪和动作捕捉方面取得了重大研究突破，但在消费市场中，实时面部动画应用的商业案例却寥寥无几。要实现大规模普及，需要在通用硬件上实现实时性能，并生成视觉上令人愉悦且在真实世界条件下具有鲁棒性的动画，同时无需人工校准。 我们提出了一种端到端的深度学习框架，通过视频回归面部动画权重，从而解决了上述大部分挑战。该方法运行速度快（3.2 毫秒），利用真实人类面部图像以及数百万帧合成渲染帧对网络进行真实场景训练，并能生成无抖动且视觉效果出色的动画。
