Human Computer Interaction
뮤직비디오를 가사 영상으로 자동 변환
Author
Venue
UIST 2023
Abstract
음악가와 팬들은 종종 자신이 좋아하는 노래를 위해 가사를 보여주는 뮤직비디오의 한 형태인 가사 영상을 제작합니다. 그러나 가사를 영상과 시각적으로 조화를 이루며 동기화하여 추가해야 하기 때문에 이러한 영상을 만드는 것은 어렵고 시간이 많이 소요될 수 있습니다. 선행 연구와 기존 가사 영상에 대한 면밀한 분석을 바탕으로, 우리는 제작자들이 이러한 영상을 제작하는 데 도움이 될 일련의 디자인 지침을 제안합니다. 본 지침은 가사의 가독성을 보장하는 동시에 시청자의 시선을 일관되게 집중시키는 것을 목표로 한다. 우리는 이러한 지침을 입력된 뮤직비디오를 가사 영상으로 변환하는 완전 자동화된 파이프라인에 적용하였다. 다양한 입력 소스로부터 가사 영상을 생성함으로써 파이프라인의 견고성을 입증하였다. 사용자 연구 결과, 본 파이프라인으로 생성된 가사 영상은 텍스트 가독성을 유지하고 시청자의 시선을 효과적으로 집중시키는 데 효과적인 것으로 나타났다.
