उपकरण चर का उपयोग करके कारणिक अनुमान
डेटा वैज्ञानिक अक्सर खुद को "सहसंबंध कारण नहीं है" का मंत्र दोहराते हुए पाते हैं। यह अपने हितधारकों — और खुद को — लगातार याद दिलाना एक अच्छी बात है क्योंकि डेटा धोखादायक हो सकता है, और क्योंकि मानव मन आँकड़ों के साक्ष्य को कारण-प्रभाव के रूप में व्याख्यायित करने से खुद को रोक नहीं सकता। लेकिन शायद यह एक विशेषता है, न कि कोई खामी: हम सहज रूप से कारण संबंधी व्याख्या की तलाश करते हैं क्योंकि अंततः हमें सही निर्णय लेने के लिए इसकी ही आवश्यकता होती है। इनके पीछे कारण संबंधी कथाओं के बिना, सहसंबंध निर्णय लेने वालों के लिए विशेष रूप से सहायक नहीं होते हैं।
लेकिन अंततः, हम डेटा से केवल सहसंबंध ही पढ़ सकते हैं और यह सुनिश्चित करना बहुत चुनौतीपूर्ण है कि हम इन सहसंबंधों से जो कारण-प्रभाव की कहानी जोड़ रहे हैं, वह वास्तव में सच है। और कई तरीके हैं जिनसे हम कारण संबंधी कहानी गलत बना सकते हैं। सबसे आम गलती सामान्य कारणों या भ्रमित करने वाले कारकों (कॉन्फाउंडर्स) को ध्यान में न रखना है। एक मानक उदाहरण का उपयोग करते हुए, अस्पताल में भर्ती होने और मृत्यु के बीच एक सकारात्मक सहसंबंध है। दूसरे शब्दों में, जो लोग अस्पताल में भर्ती हैं, उनके मरने की संभावना उन लोगों की तुलना में अधिक होती है जो अस्पताल में भर्ती नहीं हैं। यदि हम इस तथ्य को नजरअंदाज कर दें कि बीमार होना अस्पताल में भर्ती होने और मृत्यु, दोनों का कारण बन सकता है, तो हम एक गलत कारण संबंधी कहानी पर पहुँच सकते हैं: अस्पताल मारते हैं।
दूसरी आम गलती तब होती है जब हम भ्रमित करने वाले कारकों से मिली सीख को बहुत आगे तक ले जाते हैं और सामान्य प्रभावों या 'कोलाइडर्स' (colliders) को ध्यान में रखते हैं। यहाँ दिया गया उदाहरण पर्ल और मैकेंज़ी की पुस्तक 'बुक ऑफ व्हाई' (Book of Why) में बर्कसन के विरोधाभास (Berkson's Paradox) के विवरण से लिया गया है। मान लीजिए कि हम यह देखने की कोशिश कर रहे हैं कि क्या कोविड-19 संक्रमण मधुमेह को जन्म दे सकता है। मान लीजिए कि वास्तव में, ऐसा कोई कारण संबंध नहीं है, लेकिन एक मधुमेह रोगी के अस्पताल में भर्ती होने की संभावना अधिक होती है यदि वह वायरस से संक्रमित हो जाता है। अब, किसी भी संभावित भ्रमित करने वाले कारकों का हिसाब रखने के अपने उत्साह में, हमने अपने अध्ययन को केवल अस्पताल में भर्ती लोगों तक सीमित करने का फैसला किया। यह हमें किसी भी प्रत्यक्ष कारण संबंध की अनुपस्थिति में भी COVID-19 और मधुमेह के बीच सहसंबंध देखने के लिए प्रेरित कर सकता है। और अगर हम और भी कम सावधान रहें, तो हम इस बारे में एक कहानी गढ़ सकते हैं कि कैसे COVID मधुमेह का कारण बनता है।
यदि हम केवल अस्पताल में भर्ती आबादी को देखें, तो हम किसी भी प्रत्यक्ष कारण संबंध की अनुपस्थिति में भी COVID-19 और मधुमेह के बीच एक सहसंबंध देख सकते हैं और गलत तरीके से यह निष्कर्ष निकाल सकते हैं कि COVID-19 मधुमेह का कारण है।
एक और तरीका जिससे कारण संबंधी कहानियाँ गलत हो जाती हैं, वह है जब हम मध्यस्थों (mediators) को ध्यान में रखते हैं। इस ब्लॉग पोस्ट के अब तक के morbid विषय को जारी रखते हुए, मान लीजिए कि हम यह अध्ययन कर रहे हैं कि क्या धूम्रपान वास्तव में समय से पहले मृत्यु का कारण बन सकता है। यदि हम उन सभी तरीकों (फेफड़ों का कैंसर, हृदय रोग) का हिसाब/समायोजन/नियंत्रण करते हैं जिनसे धूम्रपान मृत्यु का कारण बन सकता है, तो हमें धूम्रपान और मृत्यु के बीच बहुत कम या कोई सहसंबंध नहीं मिल सकता है, भले ही धूम्रपान वास्तव में मृत्यु दर को बढ़ाता है।
"तो, इसमें इतना मुश्किल क्या है!?" आप कह सकते हैं, "बस कन्फ़ाउंडर्स के लिए समायोजन करें और कोलाइडर्स और मीडिएटर्स को बाहर छोड़ दें!" कारणिक अनुमान कठिन है क्योंकि, पहली बात, हमारे पास सबसे अधिक संभावना है कि सभी संभावित कन्फ़ाउंडर्स के लिए डेटा कभी नहीं होता है। और दूसरी बात, कोलाइडर्स, मीडिएटर्स और कन्फ़ाउंडर्स के बीच अंतर करना अक्सर मुश्किल होता है। और कभी-कभी कारणिकता दोनों दिशाओं में चलती है और इन द्विदिश प्रभावों को अलग करना लगभग असंभव हो जाता है।
एक रॉब्लॉक्स उदाहरण
तो, हम इन वास्तविक चुनौतियों से कैसे निपटते हैं? अधिक विश्वसनीय समाधान, विशेष रूप से तकनीक में, प्रयोग या ए/बी परीक्षण है। हालाँकि, यह हमेशा संभव नहीं होता है। अब तक आपसे पर्याप्त गंभीर उदाहरणों ने सुना होगा, तो आइए एक मजेदार उदाहरण का उपयोग करें। रॉब्लॉक्स पर, हमारे उपयोगकर्ता अपने अवतार के माध्यम से अपनी पहचान और रचनात्मकता व्यक्त करते हैं, और इसके लिए वे अवतार शॉप पर मिलने वाली विभिन्न वस्तुओं को अपनाते हैं।
जैसा कि आप कल्पना कर सकते हैं, इस फीचर की सेहत बनाए रखना हमारे लिए बहुत महत्वपूर्ण है। यह जानने के लिए कि हम इस मार्केटप्लेस में कितने संसाधन निवेश करते हैं, हम यह जानना चाहेंगे कि यह अंततः हमारी कंपनी के लक्ष्यों में कितना योगदान देता है। अधिक विशेष रूप से, हम यह अनुमान लगाना चाहते हैं कि अवतार शॉप का समुदायिक जुड़ाव पर क्या प्रभाव पड़ता है। दुर्भाग्यवश, एक प्रत्यक्ष प्रयोग संभव नहीं है।
- हम अपने उपयोगकर्ताओं के एक हिस्से के लिए सिर्फ़ अवतार शॉप को बंद नहीं कर सकते क्योंकि यह हमारे प्लेटफ़ॉर्म पर उपयोगकर्ता अनुभव का एक बहुत ही महत्वपूर्ण हिस्सा है।
- अवतार शॉप एक ऐसा मार्केटप्लेस है जहाँ उपयोगकर्ता खरीदार और विक्रेता के रूप में एक-दूसरे के साथ बातचीत करते हैं। उपयोगकर्ताओं के एक समूह के लिए इसे बंद करने से उन उपयोगकर्ताओं पर भी प्रभाव पड़ता है जिनके लिए इसे बंद नहीं किया गया था।
इस बीच, गैर-प्रयोगात्मक डेटा का उपयोग करके इस कारणिक संबंध का अनुमान लगाना एक जोखिम भरा रास्ता है क्योंकि (i) हमने कई ऐसे विकल्परक कारकों की पहचान की है जिन्हें या तो साफ तौर पर समायोजित नहीं किया जा सकता या जो अवलोकनीय नहीं हैं, और क्योंकि (ii) हमने पाया है कि हमारे मुख्य मेट्रिक्स में होने वाले उतार-चढ़ाव का शॉप के साथ जुड़ाव पर विपरीत प्रभाव भी पड़ता है।
यह कोई असामान्य समस्या नहीं है और कई सांख्यिकीय पद्धतियाँ हैं जो उपयोगी हो सकती हैं। उदाहरण के लिए, डिफरेंसेस-इन-डिफरेंसेस या टू-वे फिक्स्ड इफेक्ट्स (TWFE) अनुमान समय के साथ उपयोगकर्ताओं के एक समूह को ट्रैक करेंगे और देखेंगे कि अवतार शॉप के साथ जुड़ने के बाद उनका व्यस्त रहने का समय कैसे बदला। एक और लोकप्रिय तकनीक प्रॉपेन्सिटी स्कोर मैचिंग (PSM) है, जो विभिन्न कारकों के आधार पर अवतार शॉप का उपयोग करने वाले उपयोगकर्ताओं का उन लोगों से मिलान करने का प्रयास करती है जिन्होंने इसका उपयोग नहीं किया। इन तरीकों के अपने अनूठे फायदे और चुनौतियां हैं, लेकिन अक्सर सही ढंग से लागू किए जाने पर भी इनमें एक ही घातक खामी होती है: अवलोकित कारक जो अवतार शॉप के साथ जुड़ाव और व्यस्त रहने के घंटों, यानी, कन्फाउंडर्स, दोनों को प्रभावित कर सकते हैं। (साइड नोट: डिफरेंसेस-इन-डिफरेंसेस को स्थिर कन्फાउंडर्स के खिलाफ मजबूत माना जाता है, लेकिन यह उन कन्फाउंडर्स के खिलाफ अभी भी कमजोर है जो समय के साथ बदलते हैं)।
उद्धार के लिए साधन चर
उपकरण चर (Instrumental Variables) अनदेखे कन्फॉउंडर्स के लिए एक समाधान प्रदान कर सकते हैं, जिसे अन्य कारण-निष्कर्षण तकनीकें प्रदान नहीं कर सकतीं। यहाँ जोर "can" पर है, क्योंकि सबसे कठिन हिस्सा उस विशेष चर को खोजना है जो एक मान्य IV अनुमान के लिए दो मुख्य शर्तों को पूरा करता है:
- पहला चरण: इसे रुचि के चर (हमारे मामले में अवतार शॉप एंगेजमेंट) के साथ दृढ़ता से संबंधित होना चाहिए।
- बहिष्करण: परिणाम (व्यस्त घंटों) के साथ इसका एकमात्र संबंध रुचि के चर (अवतार शॉप एंगेजमेंट) के माध्यम से होता है।
यदि हम ऐसा कोई इंस्ट्रूमेंट पहचान लेते हैं, तो गैर-प्रयोगात्मक डेटा का उपयोग करके हमारा कारणिक अनुमान बहुत सरल हो जाता है: परिणाम (Y) में कोई भी भिन्नता जो इंस्ट्रूमेंट (Z) द्वारा समझाए गए रुचि के चर (X) की भिन्नता के साथ सहसंबद्ध हो, वह X का Y पर एक कारणिक प्रभाव है। इंस्ट्रूमेंटल वेरिएबल्स के पीछे के मूल विचार का एक सरलीकृत उदाहरण देखने के लिए आरेख देखें।
ऊपर दिया गया आरेख यह भी दर्शाता है कि ये दो शर्तें कितनी महत्वपूर्ण हैं। सबसे पहले, उपकरण को X1 से X2 तक की गति की दृढ़ता से भविष्यवाणी करनी होगी। और दूसरी बात, हम यहाँ एक तरह से यह मानकर चल रहे हैं कि Y2 से Y1 तक की गति पूरी तरह से X1 से X2 तक की गति के कारण थी। यदि Z के पास X के अलावा Y को प्रभावित करने का कोई तरीका है, तो हम Y में होने वाली सारी गति को गलत तरीके से X से जोड़ देंगे।
जैसा कि आप समझ सकते हैं, दूसरी शर्त वह है जहाँ IV अनुमान सबसे अधिक बार विफल होते हैं क्योंकि एक जटिल प्रणाली में यह दावा करना काफी मजबूत है। तो, हमारे मामले में उपकरण वास्तव में क्या है और हमें यह भरोसा क्यों है कि यह दूसरी शर्त को पूरा करता है?
हमारा उपकरण
लगभग एक साल पहले, हमने अवतार शॉप के लिए अपने नए 'आपके लिए अनुशंसित' फीचर का मूल्यांकन करने के लिए एक A/B टेस्ट चलाया था। हमने अवतार शॉप की सहभागिता पर एक बड़ा प्रभाव देखा था। दूसरे शब्दों में, उपयोगकर्ता किस प्रयोगात्मक समूह से संबंधित था, यह अवतार शॉप (प्रथम चरण) के साथ उनकी सहभागिता की मजबूती से भविष्यवाणी करता था। हमने व्यस्त रहने के घंटों में भी प्रभाव देखा। और चूँकि यह प्रयोग विशेष रूप से अवतार शॉप में बदलाव का मूल्यांकन करने के लिए डिज़ाइन किया गया था और इसने रॉब्लॉक्स पर किसी और चीज़ को प्रभावित नहीं किया, इसलिए हमारे पास यह मानने के ठोस कारण हैं कि व्यस्त रहने के घंटों में कोई भी बदलाव केवल शॉप में जुड़ाव में बदलाव के कारण ही हुआ होगा (अपवर्जन)।
एक अच्छा उपकरण होने का मतलब है कि हम Avatar Shop की सहभागिता से व्यतीत घंटों तक के कारण संबंध का अनुमान लगा सकते हैं, बिना Avatar Shop को हमारे कुछ उपयोगकर्ताओं के लिए बंद किए, एक प्रत्यक्ष A/B परीक्षण के रूप में।
निष्कर्ष
ऊपर बताई गई IV अनुमान पद्धति का उपयोग करके, हम अपने दो चरों के बीच एक सांख्यिकीय रूप से महत्वपूर्ण और सकारात्मक कारणिक संबंध पाते हैं। विशेष रूप से, अवतार शॉप एंगेजमेंट में 1% की वृद्धि से अनुभव समय में 0.08% (एसई: 0.008%, पी-वैल्यू < 0.000) की वृद्धि होती है। यह जानने के लिए कि उपयोगकर्ता कितने समय से Roblox पर हैं, उनके आधार पर खंडित करके इसी विश्लेषण को और गहराई से चलाने पर, हम कुछ दिलचस्प देखते हैं: ये प्रभाव अनुमान एकसमान नहीं हैं। विशेष रूप से, हम देखते हैं कि नए उपयोगकर्ताओं (एक सप्ताह से भी कम समय पहले साइन अप किए हुए) के लिए अनुभव समय पर शॉप एंगेजमेंट का प्रभाव बहुत अधिक मजबूत है।
यह एक वास्तव में उपयोगी अंतर्दृष्टि है जो हमें हमारे नवीनतम उपयोगकर्ताओं के लिए एक ऑनबोर्डिंग अनुभव डिजाइन करने में मदद कर सकती है। यह IVs की एक महत्वपूर्ण सीमा पर चर्चा करने का भी एक अच्छा अवसर है: वे एक प्रत्यक्ष प्रयोग की तरह औसत उपचार प्रभाव (ATE) के बजाय स्थानीय औसत उपचार प्रभाव (LATE) का अनुमान लगाते हैं। यानी, ये अनुमान उन उपयोगकर्ताओं के लिए विशिष्ट हैं जिनके व्यवहार को हमारे उपकरण से प्रभावित किया गया था, और इसलिए इन्हें समग्र आबादी पर सामान्यीकृत करना आवश्यक नहीं है। और यह अंतर तब प्रासंगिक होता है जब भी हम सोचते हैं कि उपचार प्रभाव एकसमान नहीं हैं, जैसा कि हम ऊपर देखते हैं। व्यवहार में, यह मानना हमेशा सुरक्षित होता है कि उपचार प्रभाव विषम है और इसलिए IV अनुमान, भले ही वे आंतरिक रूप से मान्य हों, प्रयोगों का पूर्ण विकल्प नहीं हैं। लेकिन कभी-कभी वे ही सब कुछ हो सकते हैं जो हम कर सकते हैं।
अगले कदम
IVs की LATE समस्या का एक समाधान वास्तव में अधिक इंस्ट्रूमेंट्स खोजना और कई LATEs का अनुमान लगाना है। और वहाँ लक्ष्य स्थानीय प्रभाव अनुमानों की एक श्रृंखला को संयोजित करके वैश्विक औसत उपचार प्रभाव अनुमान (global average treatment effect estimate) का निर्माण करना है। ठीक यही हम अगला करने की योजना बना रहे हैं और हम ऐसा इसलिए कर सकते हैं क्योंकि हम अवतार शॉप के विभिन्न पक्षों पर कई तरह के प्रयोग चलाते हैं। प्रत्येक को हमारे उद्देश्यों के लिए एक मान्य उपकरण के रूप में काम करना चाहिए। जैसा कि आप कल्पना कर सकते हैं, हल करने के लिए बहुत सारी शानदार, चुनौतीपूर्ण एनालिटिक्स समस्याएं हैं। और यदि वे आपकी रुचि के क्षेत्र हैं, तो हमें खुशी होगी कि आप Roblox की डेटा साइंस और एनालिटिक्स टीम में शामिल हों।
इंस्ट्रुमेंटल वेरिएबल्स के बारे में अंतिम विचार
हमें उम्मीद है कि यह लव-नोट और इंस्ट्रूमेंटल वेरिएबल्स का परिचय इसकी शक्ति को प्रदर्शित करेगा और आपकी आगे की रुचि को जगाएगा। हालांकि यह कारणिक अनुमान विधि कुछ परिदृश्यों में अधिक इस्तेमाल की गई हो सकती है, लेकिन हमें लगता है कि तकनीक के क्षेत्र में इसका इस्तेमाल अपराधपूर्ण रूप से कम होता है, जहाँ इसकी धारणाओं के सही होने की अधिक संभावना है, खासकर जब इंस्ट्रूमेंट किसी प्रयोग से आता है। एक और अच्छी खबर यह है कि चूँकि यह 1920 के दशक से मौजूद है!, इसके उचित कार्यान्वयन और व्याख्याओं के बारे में सक्रिय और जीवंत चर्चाओं वाला एक समृद्ध साहित्य मौजूद है।
उज्जवल खरेल रॉब्लॉक्स में एक वरिष्ठ डेटा वैज्ञानिक हैं। वह अवतार शॉप पर काम करते हैं ताकि यह सुनिश्चित हो सके कि इसकी अर्थव्यवस्था स्वस्थ और फल-फूल रही है।
न तो रॉब्लॉक्स कॉर्पोरेशन और न ही यह ब्लॉग किसी कंपनी या सेवा का समर्थन या अनुमोदन करता है। साथ ही, इस ब्लॉग में निहित जानकारी की सटीकता, विश्वसनीयता या पूर्णता के संबंध में कोई गारंटी या वादा नहीं किया जाता है।
©2021 रॉब्लॉक्स कॉर्पोरेशन। रॉब्लॉक्स, रॉब्लॉक्स लोगो और पावरिंग इमैजिनेशन अमेरिका और अन्य देशों में हमारे पंजीकृत और गैर-पंजीकृत ट्रेडमार्क में से हैं।
