Szybka animacja twarzy na podstawie wideo
Author
Venue
Wystąpienie podczas konferencji ACM SIGGRAPH 2021
Abstract
Animacja twarzy w czasie rzeczywistym dla wirtualnych postaci 3D ma ważne zastosowania, takie jak AR/VR, interaktywna rozrywka 3D, wizualizacja wstępna i wideokonferencje. Jednak pomimo ważnych przełomów badawczych w zakresie śledzenia twarzy i przechwytywania ruchu, na rynku konsumenckim istnieje bardzo niewiele komercyjnych przykładów zastosowań animacji twarzy w czasie rzeczywistym. Masowe wdrożenie wymaga działania w czasie rzeczywistym na standardowym sprzęcie oraz przyjemnej wizualnie animacji, która jest odporna na warunki rzeczywistego świata i nie wymaga ręcznej kalibracji. Przedstawiamy kompleksową platformę uczenia głębokiego do regresji wag animacji twarzy na podstawie wideo, która rozwiązuje większość tych wyzwań. Nasze rozwiązanie jest szybkie (3,2 ms), wykorzystuje obrazy prawdziwych ludzkich twarzy wraz z milionami syntetycznie renderowanych klatek do szkolenia sieci w scenariuszach rzeczywistych oraz generuje pozbawione drgań, przyjemne wizualnie animacje.
