Die Inhalte dieser Website wurden mithilfe künstlicher Intelligenz (KI) oder maschineller Übersetzungstechnologie übersetzt und können Fehler enthalten.

Skip to content

Echtzeit-Gesichtsanimation für stilisierte 3D-Charaktere mit Emotionsdynamik

Author

Ye Pan (Shanghai Jiao Tong University), Ruisi Zhang (Shanghai Jiao Tong University), Jingying Wang (Shanghai Jiao Tong University), Yu Ding (Netease Fuxi AI Lab), Kenny Mitchell (Roblox, Edinburgh Napier University)

Venue

ACM

Abstract

Unser Ziel ist es, die Effizienz und Effektivität von Animationsproduktionstechniken zu verbessern. Wir stellen zwei Echtzeitlösungen vor, die Charakterausdrücke auf geometrisch konsistente und wahrnehmungsmäßig valide Weise steuern. Unsere erste Lösung kombiniert Keyframe-Animationstechniken mit Modellen des maschinellen Lernens. Wir schlagen ein 3D-Emotionsübertragungsnetzwerk vor, das ein 2D-Bild einer Person nutzt, um einen stilisierten 3D-Rig-Parameter zu generieren. Unsere zweite Lösung kombiniert Blendshape-basierte Motion-Capture-Animationstechniken mit Modellen des maschinellen Lernens. Wir schlagen ein Blendshape-Anpassungsnetzwerk vor, das die Bewegungen der Charakter-Rig-Parameter mit geometrischer Konsistenz und zeitlicher Stabilität generiert. Wir demonstrieren die Wirksamkeit unseres Systems durch einen Vergleich mit dem kommerziellen Produkt Faceware. Die Ergebnisse zeigen, dass die Bewertungen hinsichtlich Wiedererkennbarkeit, Intensität und Attraktivität der über unsere Systeme dargestellten Ausdrucksformen für animierte Charaktere statistisch gesehen höher sind als bei Faceware. Unsere Ergebnisse können in die Animationspipeline integriert werden und unterstützen Animatoren dabei, Ausdrucksformen schneller und präziser zu erstellen.