การเชิดหุ่นด้วยเสียงอารมณ์
Author
Venue
IEEE VR 2023/TVCG
Abstract
บทความนี้นำเสนอหุ่นเสียงอารมณ์ ซึ่งเป็นวิธีการสร้างแอนิเมชันใบหน้าโดยใช้เสียงเพื่อถ่ายทอดตัวละครที่มีการเปลี่ยนแปลงทางอารมณ์อย่างชัดเจน การเคลื่อนไหวของริมฝีปากและบริเวณใบหน้าโดยรอบถูกควบคุมโดยเนื้อหาของเสียง และพลวัตของใบหน้ามีการกำหนดตามประเภทของอารมณ์และความเข้มข้น วิธีการของเรามีความพิเศษเนื่องจากคำนึงถึงความถูกต้องทางด้านการรับรู้และเรขาคณิต แทนที่จะใช้กระบวนการทางเรขาคณิตล้วนๆ อีกจุดเด่นหนึ่งของวิธีการของเราคือความสามารถในการประยุกต์ใช้กับตัวละครหลายตัว ผลการวิจัยแสดงให้เห็นว่าการฝึกฝนตัวละครรองใหม่เมื่อพารามิเตอร์ของโครงร่างถูกจัดหมวดหมู่เป็นดวงตา คิ้ว จมูก ปาก และริ้วรอยเฉพาะบุคคล มีความสำคัญในการบรรลุผลลัพธ์การประยุกต์ใช้ทั่วไปที่ดีกว่าการฝึกฝนแบบรวม การศึกษาผู้ใช้แสดงให้เห็นถึงประสิทธิภาพของแนวทางของเราทั้งในเชิงคุณภาพและเชิงปริมาณ แนวทางของเราสามารถนำไปประยุกต์ใช้ใน AR/VR และ 3DUI ได้แก่ อวตารเสมือนจริง/อวตารตนเอง การประชุมทางไกล และการสนทนาในเกม
