Videodan Hızlı Yüz Animasyonu
Author
Venue
ACM SIGGRAPH 2021 Konuşması
Abstract
Sanal 3D karakterler için gerçek zamanlı yüz animasyonu, AR/VR, etkileşimli 3D eğlence, ön görselleştirme ve video konferans gibi önemli uygulamalara sahiptir. Ancak, yüz izleme ve performans yakalama alanlarında önemli araştırma atılımlarına rağmen, tüketici pazarında gerçek zamanlı yüz animasyonu uygulamalarının ticari örnekleri çok azdır. Kitlesel benimsenme, standart donanımlarda gerçek zamanlı performans ve manuel kalibrasyon gerektirmeden gerçek dünya koşullarına dayanıklı, görsel olarak hoş animasyonlar gerektirir. Bu zorlukların çoğunu ele alan, videodan yüz animasyonu ağırlıklarını regresyonlamak için uçtan uca bir derin öğrenme çerçevesi sunuyoruz. Formülasyonumuz hızlıdır (3,2 ms), gerçek insan yüzlerinin görüntülerini milyonlarca sentetik render karesiyle birlikte kullanarak ağı gerçek dünya senaryolarında eğitir ve titremesiz, görsel olarak hoş animasyonlar üretir.
