भावनात्मक आवाज़ कठपुतली
Author
Venue
आईईईई वीआर 2023/टीवीसीजी
Abstract
यह पेपर इमोशनल वॉयस पपेट्री प्रस्तुत करता है, जो जीवंत भावनात्मक परिवर्तनों वाले पात्रों को चित्रित करने के लिए एक ऑडियो-आधारित चेहरे की एनिमेशन पद्धति है। होंठों की गति और आसपास के चेहरे के क्षेत्र ऑडियो की सामग्री द्वारा नियंत्रित होते हैं, और चेहरे की गतिशीलता भावना की श्रेणी और तीव्रता द्वारा स्थापित होती है। हमारी पद्धति विशिष्ट है क्योंकि यह शुद्ध ज्यामितीय प्रक्रियाओं के बजाय धारणात्मक वैधता और ज्यामिति को ध्यान में रखती है। हमारी पद्धति की एक और खास बात इसकी बहु-पात्र सामान्यीकरण क्षमता है। निष्कर्षों से पता चला कि जब रिग पैरामीटर को आँखें, भौंहें, नाक, मुँह और विशिष्ट झुर्रियों के रूप में वर्गीकृत किया जाता है, तो नए द्वितीयक पात्रों को प्रशिक्षित करना संयुक्त प्रशिक्षण की तुलना में बेहतर सामान्यीकरण परिणाम प्राप्त करने में महत्वपूर्ण है। उपयोगकर्ता अध्ययन गुणात्मक और मात्रात्मक दोनों रूप से हमारे दृष्टिकोण की प्रभावशीलता को प्रदर्शित करते हैं। हमारा दृष्टिकोण एआर/वीआर और 3डीयूआई में लागू हो सकता है, जैसे कि वर्चुअल रियलिटी अवतार/स्व-अवतार, टेलीकॉन्फ्रेंसिंग और इन-गेम संवाद।
