SmoothCache: تقنية عالمية لتسريع الاستدلال لمحولات الانتشار
Author
Venue
ورشة عمل CVPR eLVM 2025
Abstract
ظهرت محولات الانتشار (DiT) كنماذج توليدية قوية لمهام متنوعة، بما في ذلك تركيب الصور والفيديو والكلام. ومع ذلك، تظل عملية الاستدلال الخاصة بها مكلفة حسابياً بسبب التقييم المتكرر لوحدات الانتباه والتغذية الأمامية التي تستهلك موارد كثيرة. لمعالجة ذلك، نقدم SmoothCache، وهي تقنية لتسريع الاستدلال غير مرتبطة بنموذج معين مخصصة لهياكل DiT. تستفيد SmoothCache من التشابه الكبير الملحوظ بين مخرجات الطبقات عبر خطوات زمنية متجاورة للانتشار. من خلال تحليل أخطاء التمثيل على مستوى الطبقات من مجموعة معايرة صغيرة، يقوم SmoothCache بتخزين الميزات الرئيسية وإعادة استخدامها بشكل تكيفي أثناء الاستدلال. تُظهر تجاربنا أن SmoothCache يحقق تسريعًا بنسبة 8% إلى 71% مع الحفاظ على جودة التوليد أو حتى تحسينها عبر طرق متنوعة. نعرض فعاليته على DiT-XL لتوليد الصور، وOpen-Sora لتحويل النص إلى فيديو، وStable Audio Open لتحويل النص إلى صوت، مما يسلط الضوء على إمكاناته في تمكين التطبيقات في الوقت الفعلي وتوسيع نطاق الوصول إلى نماذج DiT القوية.
