تحريك سريع للوجه من الفيديو
Author
Venue
محاضرة ACM SIGGRAPH 2021
Abstract
تتمتع الرسوم المتحركة للوجه في الوقت الحقيقي للشخصيات الافتراضية ثلاثية الأبعاد بتطبيقات مهمة مثل الواقع المعزز/الواقع الافتراضي، والترفيه التفاعلي ثلاثي الأبعاد، والتصور المسبق، والمؤتمرات عبر الفيديو. ومع ذلك، على الرغم من الاختراقات البحثية المهمة في تتبع الوجه والتقاط الأداء، هناك أمثلة تجارية قليلة جدًا لتطبيقات الرسوم المتحركة للوجه في الوقت الحقيقي في السوق الاستهلاكية. يتطلب الاعتماد على نطاق واسع أداءً في الوقت الحقيقي على أجهزة عادية ورسومًا متحركة جذابة بصريًا وقوية في ظروف العالم الحقيقي، دون الحاجة إلى المعايرة اليدوية. نقدم إطار عمل تعلم عميق شامل لتقدير أوزان الرسوم المتحركة للوجه من الفيديو، والذي يعالج معظم هذه التحديات. صيغتنا سريعة (3.2 مللي ثانية)، وتستخدم صورًا لوجوه بشرية حقيقية إلى جانب ملايين الإطارات المركبة لتدريب الشبكة على سيناريوهات العالم الحقيقي، وتنتج رسومًا متحركة خالية من الاهتزاز وممتعة بصريًا.
