Speech & Audio
3D
感情を表現する声のパペット
Author
Venue
IEEE VR 2023/TVCG
Abstract
本論文では、キャラクターの鮮やかな感情の変化を表現するための音声ベースの顔アニメーション手法である「感情的ボイス・パペッタリー」を提案する。唇の動きおよび周辺の顔領域は音声の内容によって制御され、顔のダイナミクスは感情のカテゴリーと強度によって決定される。本手法は、純粋な幾何学的処理ではなく、知覚的妥当性と幾何学的構造の両方を考慮している点で独自性を持つ。また、複数のキャラクターへの汎用性が高いことも本手法の特長である。 実験結果から、リグパラメータを「目」「眉」「鼻」「口」「特徴的なしわ」に分類して新しいサブキャラクターを学習させることは、共同学習と比較して、より優れた汎化結果を得る上で重要であることが示された。ユーザー調査により、本手法の有効性が定性的・定量的に実証された。本手法は、AR/VRや3DUI、具体的にはバーチャルリアリティのアバター／セルフアバター、テレビ会議、ゲーム内対話などに適用可能である。
