Human Computer Interaction
ミュージックビデオから歌詞付きビデオへの自動変換
Author
Venue
UIST 2023
Abstract
ミュージシャンやファンは、お気に入りの曲のために、歌詞を映し出すミュージックビデオの一種である「歌詞動画」を制作することがよくあります。しかし、歌詞を映像と同期させ、視覚的な調和を図りながら追加する必要があるため、このような動画の制作は困難で時間を要する作業になりがちです。先行研究や既存の歌詞動画の綿密な分析に基づき、我々はクリエイターがこうした動画を制作するのを支援するための一連のデザインガイドラインを提案します。 本ガイドラインは、注意の焦点を統一しつつ、歌詞テキストの可読性を確保することを目的としている。我々は、これらのガイドラインを、入力されたミュージックビデオを歌詞付き動画に変換する完全自動化されたパイプラインに実装した。多様な入力ソースから歌詞付き動画を生成することで、本パイプラインの堅牢性を実証した。ユーザー調査の結果、本パイプラインによって生成された歌詞付き動画は、テキストの可読性を維持し、注意の焦点を統一する上で効果的であることが示された。
