Animation faciale rapide à partir d'une vidéo
Author
Venue
Conférence ACM SIGGRAPH 2021
Abstract
L'animation faciale en temps réel pour les personnages 3D virtuels a des applications importantes telles que la RA/RV, le divertissement 3D interactif, la prévisualisation et la visioconférence. Pourtant, malgré d'importantes avancées dans la recherche sur le suivi facial et la capture de performances, il existe très peu d'exemples commerciaux d'applications d'animation faciale en temps réel sur le marché grand public. Une adoption massive nécessite des performances en temps réel sur du matériel standard et une animation visuellement agréable, robuste face aux conditions du monde réel, sans nécessiter d'étalonnage manuel. Nous présentons un cadre d'apprentissage profond de bout en bout permettant de régresser les poids d'animation faciale à partir de vidéos, qui répond à la plupart de ces défis. Notre formulation est rapide (3,2 ms), utilise des images de visages humains réels ainsi que des millions d'images synthétiques rendues pour entraîner le réseau sur des scénarios du monde réel, et produit des animations visuellement agréables et sans saccades.
