स्मूथकैश: डायफ्यूजन ट्रांसफॉर्मर्स के लिए एक सार्वभौमिक इन्फरेंस एक्सेलेरेशन तकनीक
Author
Venue
CVPR eLVM कार्यशाला 2025
Abstract
डिफ्यूजन ट्रांसफॉर्मर (DiT) इमेज, वीडियो, और स्पीच सिंथेसिस सहित विभिन्न कार्यों के लिए शक्तिशाली जनरेटिव मॉडल के रूप में उभरे हैं। हालाँकि, संसाधन-गहन अटेंशन और फीड-फॉरवर्ड मॉड्यूल के बार-बार मूल्यांकन के कारण उनकी इंफरेंस प्रक्रिया गणनात्मक रूप से महंगी बनी हुई है। इसे संबोधित करने के लिए, हम SmoothCache पेश करते हैं, जो DiT आर्किटेक्चर के लिए एक मॉडल-एग्नॉस्टिक इंफरेंस एक्सेलेरेशन तकनीक है। SmoothCache आसन्न डिफ्यूजन टाइमस्टेप्स में परतों के आउटपुट के बीच देखी गई उच्च समानता का लाभ उठाता है। एक छोटे कैलिब्रेशन सेट से परत-वार प्रतिनिधित्व त्रुटियों का विश्लेषण करके, स्मूथकैश इंफरेंस के दौरान प्रमुख विशेषताओं को अनुकूली रूप से कैश और पुन: उपयोग करता है। हमारे प्रयोग यह प्रदर्शित करते हैं कि स्मूथकैश (SmoothCache) विभिन्न मोडालिटीज़ में जनरेशन की गुणवत्ता को बनाए रखते हुए या उसमें सुधार करते हुए 8% से 71% तक की गति वृद्धि हासिल करता है। हम छवि निर्माण के लिए DiT-XL, टेक्स्ट-टू-वीडियो के लिए ओपन-सोरा (Open-Sora), और टेक्स्ट-टू-ऑडियो के लिए स्टेबल ऑडियो ओपन (Stable Audio Open) पर इसकी प्रभावशीलता को प्रदर्शित करते हैं, जो वास्तविक-समय अनुप्रयोगों को सक्षम करने और शक्तिशाली DiT मॉडलों की पहुंच को व्यापक बनाने की इसकी क्षमता को उजागर करता है।
