Animazione facciale veloce da video
Author
Venue
Conferenza ACM SIGGRAPH 2021
Abstract
L'animazione facciale in tempo reale per personaggi 3D virtuali ha importanti applicazioni quali AR/VR, intrattenimento 3D interattivo, pre-visualizzazione e videoconferenza. Tuttavia, nonostante importanti progressi nella ricerca sul tracciamento facciale e sulla performance capture, esistono pochissimi esempi commerciali di applicazioni di animazione facciale in tempo reale nel mercato consumer. L'adozione di massa richiede prestazioni in tempo reale su hardware standard e un'animazione visivamente piacevole che sia robusta alle condizioni del mondo reale, senza richiedere una calibrazione manuale. Presentiamo un framework di deep learning end-to-end per la regressione dei pesi dell'animazione facciale da video che affronta la maggior parte di queste sfide. La nostra formulazione è veloce (3,2 ms), utilizza immagini di volti umani reali insieme a milioni di fotogrammi renderizzati sinteticamente per addestrare la rete su scenari del mondo reale e produce animazioni visivamente piacevoli e prive di jitter.
