Speech & Audio
3D
情感之声木偶戏
Author
Venue
IEEE VR 2023/TVCG
Abstract
本文提出了一种基于音频的面部动画方法——情感语音木偶，用于刻画具有生动情感变化的角色。嘴唇动作及周围面部区域由音频内容控制，面部动态则根据情感类别和强度确定。我们的方法具有独特性，因为它兼顾了感知有效性和几何结构，而非仅依赖纯粹的几何过程。该方法的另一亮点在于其对多个角色的泛化能力。 研究结果表明，当骨骼参数被划分为眼部、眉部、鼻部、口部及特征性皱纹等类别时，对新次要角色进行单独训练，相比联合训练能显著提升泛化效果。用户研究从定性与定量两方面验证了本方法的有效性。本方法可应用于AR/VR及3DUI领域，例如虚拟现实化身/自我化身、远程会议以及游戏内对话。
