Múa rối bằng giọng nói cảm xúc
Author
Venue
IEEE VR 2023/TVCG
Abstract
Bài báo giới thiệu kỹ thuật điều khiển giọng nói dựa trên cảm xúc, một phương pháp hoạt hình khuôn mặt dựa trên âm thanh nhằm thể hiện các nhân vật với những thay đổi cảm xúc sinh động. Chuyển động của môi và các vùng khuôn mặt xung quanh được điều khiển bởi nội dung âm thanh, trong khi động lực học khuôn mặt được xác định bởi loại cảm xúc và cường độ. Phương pháp của chúng tôi là độc đáo vì nó xem xét tính hợp lý về mặt nhận thức và hình học thay vì chỉ dựa vào các quá trình hình học thuần túy. Một điểm nổi bật khác của phương pháp là khả năng áp dụng cho nhiều nhân vật. Kết quả nghiên cứu cho thấy việc huấn luyện các nhân vật phụ mới khi các tham số khung xương được phân loại thành mắt, lông mày, mũi, miệng và nếp nhăn đặc trưng mang lại kết quả tổng quát hóa tốt hơn so với huấn luyện chung. Các nghiên cứu người dùng chứng minh hiệu quả của phương pháp này cả về mặt định tính lẫn định lượng. Phương pháp của chúng tôi có thể được áp dụng trong AR/VR và 3DUI, cụ thể là avatar thực tế ảo/avatar cá nhân, hội nghị truyền hình và đối thoại trong trò chơi.
