ভিডিও থেকে দ্রুত মুখের অ্যানিমেশন
Author
Venue
ACM SIGGRAPH 2021 টক
Abstract
ভার্চুয়াল 3D চরিত্রের জন্য রিয়েল-টাইম মুখের অ্যানিমেশন AR/VR, ইন্টারেক্টিভ 3D বিনোদন, প্রি-ভিশ্যুয়ালাইজেশন এবং ভিডিও কনফারেন্সিংয়ের মতো গুরুত্বপূর্ণ প্রয়োগ রয়েছে। তবে মুখের ট্র্যাকিং এবং পারফরম্যান্স ক্যাপচারে গুরুত্বপূর্ণ গবেষণা অগ্রগতি সত্ত্বেও, ভোক্তা বাজারে রিয়েল-টাইম মুখের অ্যানিমেশন অ্যাপ্লিকেশনের বাণিজ্যিক উদাহরণ খুবই কম। ব্যাপক গ্রহণযোগ্যতার জন্য সাধারণ হার্ডওয়্যারে রিয়েল-টাইম পারফরম্যান্স এবং বাস্তব বিশ্বের শর্তে দৃশ্যত আকর্ষণীয়, ম্যানুয়াল ক্যালিব্রেশন ছাড়াই শক্তিশালী অ্যানিমেশন প্রয়োজন। আমরা ভিডিও থেকে মুখের অ্যানিমেশন ওজন রিগ্রেশন করার জন্য একটি এন্ড-টু-এন্ড ডিপ লার্নিং ফ্রেমওয়ার্ক উপস্থাপন করছি যা এই চ্যালেঞ্জগুলির অধিকাংশই সমাধান করে। আমাদের ফর্মুলেশন দ্রুত (৩.২ মিলিসেকেন্ড), বাস্তব-বিশ্বের পরিস্থিতিতে নেটওয়ার্ককে প্রশিক্ষণ দিতে বাস্তব মানুষের মুখের ছবি এবং মিলিয়ন মিলিয়ন সিন্থেটিক রেন্ডার করা ফ্রেম ব্যবহার করে, এবং ঝাঁকুনি-মুক্ত, দৃশ্যত আকর্ষণীয় অ্যানিমেশন তৈরি করে।
