ఈ సైట్‌లోని విషయాలు కృత్రిమ మేధస్సు (AI) లేదా యంత్ర అనువాద సాంకేతికత ఉపయోగించి అనువదించబడ్డాయి మరియు లోపాలు ఉండవచ్చు.

Skip to content
Human Computer Interaction

మ్యూజిక్ వీడియోలను లైరిక్ వీడియోలుగా ఆటోమేటిక్ మార్పిడి

Author

జియాజు మా (స్టాన్‌ఫోర్డ్), అన్యీ రావు (స్టాన్‌ఫోర్డ్), లి-యి వీ (అడోబీ), రుబైయత్ హబీబ్ ఖాజీ (అడోబీ), హిజంగ్ వాలెంటినా షిన్ (అడోబీ), మరియు మనీష్ అగర్వాలా (స్టాన్‌ఫోర్డ్ + రోబ్లాక్స్)

Venue

UIST 2023

Abstract

సంగీతకారులు మరియు అభిమానులు తరచుగా తమకు ఇష్టమైన పాటల కోసం లరిక్ వీడియోలను తయారు చేస్తారు. లరిక్ వీడియోలు అనేవి ఒక రకమైన మ్యూజిక్ వీడియోలు, ఇవి పాటలోని సాహిత్యాన్ని ప్రదర్శిస్తాయి. అయితే, వీడియోకు అనుగుణంగా మరియు దృశ్య సామరస్యంతో సాహిత్యాన్ని జోడించాల్సి రావడం వలన, అటువంటి వీడియోలను తయారు చేయడం సవాలుతో కూడుకున్నది మరియు ఎక్కువ సమయం తీసుకునే పని. మునుపటి పనులు మరియు ఇప్పటికే ఉన్న లరిక్ వీడియోల యొక్క నిశితమైన పరిశీలన ఆధారంగా, సృష్టికర్తలు అటువంటి వీడియోలను తయారు చేయడంలో సహాయపడటానికి మేము ఒక శ్రేణి డిజైన్ మార్గదర్శకాలను ప్రతిపాదిస్తున్నాము. మా మార్గదర్శకాలు పాట సాహిత్యం చదవడానికి వీలుగా ఉండేలా చూస్తూనే, దృష్టిని ఏకీకృతం చేస్తాయి. మేము ఈ మార్గదర్శకాలను, ఒక ఇన్‌పుట్ మ్యూజిక్ వీడియోను లరిక్ వీడియోగా మార్చే పూర్తిగా ఆటోమేటెడ్ పైప్‌లైన్‌లో అమలు చేసాము. విభిన్న రకాల ఇన్‌పుట్ సోర్స్‌ల నుండి లరిక్ వీడియోలను రూపొందించడం ద్వారా మా పైప్‌లైన్ యొక్క పటిష్టతను మేము ప్రదర్శిస్తున్నాము. మా పైప్‌లైన్ ద్వారా రూపొందించబడిన లరిక్ వీడియోలు, టెక్స్ట్ చదవడానికి వీలుగా ఉండటంలో మరియు దృష్టిని ఏకీకృతం చేయడంలో సమర్థవంతంగా ఉన్నాయని ఒక యూజర్ స్టడీ చూపిస్తుంది.