แอนิเมชันใบหน้าอย่างรวดเร็วจากวิดีโอ
Author
Venue
การบรรยาย ACM SIGGRAPH 2021
Abstract
แอนิเมชันใบหน้าแบบเรียลไทม์สำหรับตัวละคร 3 มิติเสมือนจริงมีการประยุกต์ใช้ที่สำคัญ เช่น AR/VR, ความบันเทิง 3 มิติแบบโต้ตอบ, การสร้างภาพล่วงหน้า และการประชุมทางวิดีโอ แม้ว่าจะมีความก้าวหน้าในการวิจัยที่สำคัญในการติดตามใบหน้าและการจับภาพการแสดง แต่ก็มีตัวอย่างเชิงพาณิชย์ของแอปพลิเคชันแอนิเมชันใบหน้าแบบเรียลไทม์ในตลาดผู้บริโภคเพียงไม่กี่ราย การยอมรับในวงกว้างจำเป็นต้องใช้การแสดงผลแบบเรียลไทม์บนฮาร์ดแวร์ทั่วไปและแอนิเมชันที่ดูสวยงามซึ่งทนทานต่อสภาพแวดล้อมจริง โดยไม่ต้องปรับเทียบด้วยตนเอง เราขอนำเสนอเฟรมเวิร์กการเรียนรู้เชิงลึกแบบครบวงจรสำหรับการถดถอยน้ำหนักการเคลื่อนไหวใบหน้าจากวิดีโอ ซึ่งสามารถแก้ไขปัญหาส่วนใหญ่เหล่านี้ได้ สูตรของเราทำงานได้อย่างรวดเร็ว (3.2 มิลลิวินาที) โดยใช้ภาพใบหน้าจริงของมนุษย์ร่วมกับเฟรมที่สร้างขึ้นหลายล้านเฟรมเพื่อฝึกฝนเครือข่ายในสถานการณ์จริง และสร้างแอนิเมชันที่ราบรื่นและสวยงามทางสายตา
