3D
動画からの高速顔アニメーション
Author
Venue
ACM SIGGRAPH 2021 講演
Abstract
仮想3Dキャラクター向けのリアルタイム顔アニメーションは、AR/VR、インタラクティブな3Dエンターテインメント、プレビジュアライゼーション、ビデオ会議など、重要な用途を持っています。しかし、顔追跡やパフォーマンスキャプチャにおける重要な研究の進展にもかかわらず、消費者市場におけるリアルタイム顔アニメーションアプリケーションの商用事例はごくわずかです。普及には、汎用ハードウェア上でのリアルタイム性能と、手動でのキャリブレーションを必要とせず、実環境下でも堅牢で視覚的に魅力的なアニメーションが求められます。 本研究では、これらの課題のほとんどに対処する、動画から顔アニメーションの重みを回帰させるエンドツーエンドの深層学習フレームワークを提案する。本手法は高速（3.2 ms）であり、実在する人間の顔の画像と数百万枚の合成レンダリングフレームを活用して実世界シナリオでネットワークを学習させ、ジッターのない視覚的に魅力的なアニメーションを生成する。
