रॉब्लॉक्स सेन्टिनलचे ओपन सोर्सिंग: पूर्वसावधान धोका शोधनासाठी आमची पद्धत

• दररोज, सर्व वयोगटातील 100 दशलक्षाहून अधिक वापरकर्त्यांना Roblox वर सुरक्षित आणि सकारात्मक अनुभव मिळतो.
• आम्ही आमच्या प्रणालींना डीफॉल्टनुसार शक्य तितक्या सुरक्षित बनवण्याचा प्रयत्न करतो, विशेषतः आमच्या सर्वात लहान वापरकर्त्यांसाठी. आम्ही हे आमच्या अत्यंत काटेकोर धोरणांद्वारे करतो आणि चॅटमधील अयोग्य संदेशांना फिल्टर करण्यासाठी AI चा वापर करतो, ज्यात आम्ही वैयक्तिकरित्या ओळखता येण्याजोगी माहिती (Trusted Connections व्यतिरिक्त) शोधतो. आम्ही सक्रियपणे सामग्रीचे परीक्षण करतो आणि चॅटमध्ये वास्तविक जगातील प्रतिमा शेअर करण्यास परवानगी देत नाही.
• नक्कीच, कोणतीही प्रणाली परिपूर्ण नसते, आणि संभाव्य बालधोक्यासारख्या गंभीर हानींचा शोध घेणे हे उद्योगातील सर्वात मोठ्या आव्हानांपैकी एक आहे. मैत्रीपूर्ण चॅट्स आणि पाठबळ देणाऱ्या संदेशांची एक मालिका दीर्घ संभाषणाच्या इतिहासात वेगळेच अर्थ घेऊ शकते, विशेषतः जेव्हा हे वेगवेगळ्या वयोगटातील वापरकर्त्यांमध्ये घडते. 
• आम्ही कॉन्ट्रास्टिव्ह लर्निंगवर आधारित एक AI प्रणाली, Roblox Sentinel विकसित केली आहे जी ग्रूमिंगसारख्या संभाव्य बाल धोक्याच्या सुरुवातीच्या संकेतांचा शोध घेण्यास मदत करते, ज्यामुळे आम्हाला आणखी लवकर तपास करण्याची आणि, जेव्हा आवश्यक असते, कायदा अंमलबजावणी संस्थांना अहवाल देण्याची संधी मिळते.
• २०२५ च्या पहिल्या सहामाहीत, सेंटिनलने आमच्या टीमला संभाव्य बाल शोषणाच्या सुमारे १,२०० अहवाल राष्ट्रीय हरवलेल्या आणि शोषित मुलांसाठीच्या केंद्राकडे (National Center for Missing and Exploited Children) सादर करण्यात मदत केली. यात आमच्या फिल्टरिंग यंत्रणा आणि इतर सुरक्षा उपाय टाळण्याचे प्रयत्न यांचा समावेश आहे.
• आम्हाला Roblox Sentinel ओपन सोर्स करण्याबद्दल आनंद होत आहे, आणि आम्ही सक्रियपणे समुदायाचा सहभाग शोधत आहोत, ज्यामुळे अधिक सुरक्षित इंटरनेट तयार करण्यात मदत होईल अशी आम्हाला आशा आहे.

मित्रमैत्रिणींसोबत वेळ घालवणे आणि इतर खेळाडूंशी स्पर्धा करणे हे Roblox चे मुख्य घटक आहेत, आणि या क्रियाकलापांच्या केंद्रस्थानी संवाद आहे. प्रत्यक्षात, दररोज १११ दशलक्षाहून अधिक वापरकर्ते Roblox वर येतात, जिथे समुदाय सरासरी ६.१ अब्ज चॅट संदेश पाठवतो आणि अनेक भाषांमध्ये १.१ दशलक्ष तासांचे व्हॉइस संवाद निर्माण करतो. हा संवाद वास्तविक जगाचे प्रतिबिंब आहे—मोठा भाग म्हणजे दैनंदिन गप्पा, साध्या संभाषणांपासून गेमप्लेवर चर्चा करण्यापर्यंत, परंतु काही दुर्भावनापूर्ण लोक आमच्या प्रणालींना फसविण्याचा आणि कदाचित हानी पोहोचवण्याचा प्रयत्न करतात. 

गेल्या महिन्यात, आम्ही वयावर आधारित संवादासाठी आमचे दृष्टीकोन मांडला. आम्ही आमच्या प्रणालींना डीफॉल्टनुसार शक्य तितके सुरक्षित बनवण्याचा प्रयत्न करतो, विशेषतः आमच्या सर्वात लहान वापरकर्त्यांसाठी. उदाहरणार्थ, आम्ही चॅटद्वारे वापरकर्त्यांमधील प्रतिमा किंवा व्हिडिओ शेअरिंगची परवानगी देत नाही. आमच्या प्रणाली, जरी परिपूर्ण नसल्या, तरी सतत सुधारत आहेत आणि वैयक्तिकरित्या ओळखता येणारी माहिती—जसे की फोन नंबर आणि वापरकर्तानाव—प्रोऍक्टिव्हपणे ब्लॉक करण्यासाठी डिझाइन केल्या आहेत, तसेच वयाची पडताळणी न झालेल्या वापरकर्त्यांमधील चॅट कडकपणे फिल्टर केली जाते (आणि 13 वर्षांखालील वापरकर्त्यांसाठी परवानगी नाही). Roblox हा आपल्याला ओळखीच्या लोकांशी अधिक मोकळेपणाने चॅट करण्यासाठी चेहऱ्याच्या वयाचा अंदाज घेणे आवश्यक असलेल्या सर्वात मोठ्या प्लॅटफॉर्मपैकी एक आहे. आमचे उद्दिष्ट ऑनलाइन गेमिंगसाठी सुरक्षिततेत जगात आघाडीवर राहणे आहे, आणि आम्ही महत्त्वाच्या सुरक्षा तंत्रज्ञानाचे ओपन सोर्स करण्यास वचनबद्ध आहोत.

आज आम्ही आमचा नवीनतम ओपन-सोर्स मॉडेल, सेंटिनल, जाहीर करत आहोत, जो मुलांच्या धोक्यात येण्यास कारणीभूत ठरू शकणाऱ्या संवादांचा शोध घेण्यास मदत करणारी एक AI प्रणाली आहे. एखादी गोष्ट स्पष्ट होण्यापूर्वीच, सेंटिनल आम्हाला सूक्ष्म नमुने लवकर ओळखण्यास आणि तपासण्यास सक्षम करते, आणि जेव्हा आवश्यक असते तेव्हा कायदा अंमलबजावणी संस्थांना अहवाल देते.

सेंटिनल 2024 च्या उत्तरार्धापासून Roblox वर चालू आहे आणि आमच्या ओपन-सोर्स सुरक्षा टूलकिटमधील हा नवीनतम समावेश आहे. २०२५ च्या पहिल्या सहामाहीत, आम्ही शोधलेल्या प्रकरणांपैकी ३५% प्रकरणे या सक्रिय दृष्टिकोनामुळे आहेत, ज्यात अनेक प्रकरणांमध्ये गैरवापर अहवाल दाखल होण्यापूर्वीच त्यांना पकडण्यात आले. आमच्या इतर मध्यस्थीकरण प्रणालींसह एकत्रित केल्यावर, सेंटिनल संभाव्य गंभीर उल्लंघनांचा शोध घेण्यासाठी आणि त्यावर कारवाई करण्यासाठी आमच्याकडे असलेल्या साधनांचा संच वाढवते. 

सेंटिनेल सध्या मोठ्या प्रमाणावर उत्पादन वातावरणात चालू आहे. २०२५ च्या पहिल्या सहामाहीत, त्याच्या सक्रिय क्षमतांनी आमच्या टीमला सुमारे १,२०० अहवाल राष्ट्रीय हरवलेल्या आणि शोषित मुलांसाठीच्या केंद्राकडे सादर करण्यात मदत केली आहे. जरी सुधारण्यासाठी नेहमीच जागा असेल, तरी सेन्टिनलच्या लवकर शोधण्याच्या क्षमतांनी संभाव्य वाईट कर्त्यांना प्रक्रियेच्या सुरुवातीच्या टप्प्यात, जेव्हा संदेश अजून सूक्ष्म असतात आणि वापरकर्त्यांनी सादर केलेल्या गैरवापर अहवालांद्वारे ते उघड होण्याआधी, ओळखण्यास आणि तपासण्यास आम्हाला आधीच मदत सुरू केली आहे. 

सेंटिनल जे प्रकरणे शोधतो त्यात तपासणी आणि हस्तक्षेप करण्यासाठी मानवी तज्ञांची आवश्यकता असते. प्रशिक्षित विश्लेषक, सामान्यतः माजी CIA किंवा FBI एजंट्स आणि इतर तज्ञ, सेंटिनलने संभाव्य उल्लंघन म्हणून चिन्हांकित केलेल्या प्रकरणांची तपासणी करतात. या विश्लेषकांद्वारे घेतलेल्या निर्णयांमुळे एक फीडबॅक लूप तयार होतो, ज्यामुळे आम्हाला उदाहरणे, निर्देशांक आणि प्रशिक्षण संच सातत्याने सुधारित आणि अद्ययावत करण्याची संधी मिळते. आमच्या शोधप्रक्रियेतून वाचण्यासाठी प्रयत्न करणाऱ्या दुष्ट घटकांच्या नवीन आणि विकसित होत असलेल्या नमुन्यांशी आणि पद्धतींशी जुळवून घेण्यासाठी आणि त्यांचा वेग राखण्यासाठी ही मानवी सहभागाची प्रक्रिया अत्यावश्यक आहे.

सेंटिनल ही Roblox च्या मोठ्या बहुस्तरीय सुरक्षा प्रणालीचा एक महत्त्वाचा भाग आहे, ज्यात नाविन्यपूर्ण AI साधने आणि हजारो मानवी तज्ञांचा समावेश आहे. आजपासून, हे आमच्या Roblox ओपन-सोर्स सुरक्षा टूलकिटचा देखील एक भाग आहे. आम्हाला विश्वास आहे की अधिक सुरक्षित डिजिटल जग निर्माण करणे ही एक सामायिक जबाबदारी आहे. सेंटिनलसारख्या सुरक्षा प्रणालींना ओपन सोर्स करून, आमच्या पद्धती शेअर करून आणि रॉबस्ट ओपन ऑनलाइन सेफ्टी टूल्स (ROOST) आणि टेक कोअलिशनच्या लँटर्न प्रोजेक्टसारख्या संस्थांचे संस्थापक सदस्य बनून, आम्ही ऑनलाइन सुरक्षा पद्धतींच्या सामूहिक प्रगतीत आणि त्यांच्यावर अवलंबून असलेल्या ऑनलाइन समुदायांमध्ये योगदान देण्याची आशा करतो.

आमच्या मॉडरेशन प्रणालीला लवकर कारवाई करण्यास सक्षम करण्यासाठी, हानी करण्याचा हेतू फक्त हेतूपुरती मर्यादित राहण्याआधीच, सेंटिनलला दररोज सहा अब्जाहून अधिक चॅट संदेशांवर जवळजवळ रिअल-टाइममध्ये संपूर्ण विश्लेषण पाइपलाइन चालवावी लागते. सेंटिनल सतत एक मिनिटाच्या स्नॅपशॉटमध्ये टेक्स्ट चॅट कॅप्चर करते. संदेश ML द्वारे स्वयंचलितपणे विश्लेषित केले जातात, त्यांचा एकमेव हेतू संभाव्य हानी जसे की ग्रूमिंग किंवा बाल धोक्यात आणणे यांचा शोध घेणे हा असतो. याव्यतिरिक्त, आम्ही कालांतराने ही माहिती एकत्रित करतो, ज्यामुळे मानवी विश्लेषकांना मूल्यमापन आणि चौकशी करण्यासाठी चिंताजनक प्रकरणे आणि नमुने ओळखता येतात. 

स्थिर नियम आणि लेबल केलेल्या उदाहरणांवर अवलंबून असलेल्या इतर साधनांच्या विपरीत, सेन्टिनल स्व-पर्यवेक्षित प्रशिक्षणाचा वापर करून संभाषणाच्या नमुन्यांना घडताना ओळखणे आणि त्यांचे सामान्यीकरण करणे शिकते. यामुळे सेन्टिनलला नवीन आणि विकसित होत असलेल्या धोक्यांची ओळख पटवता येते.

संघाने दोन निर्देशांक विकसित करून हे साध्य केले. एक म्हणजे सुरक्षित, निरुपद्रवी संदेशांशी संवाद साधणाऱ्या वापरकर्त्यांचे संदेश—हा सकारात्मक निर्देशांक आहे. दुसरा म्हणजे बाल-धोक्यात आणण्याच्या धोरण उल्लंघनामुळे काढून टाकलेले संदेश—हा नकारात्मक निर्देशांक आहे. हा विरोधाभासी दृष्टिकोन प्रणालीला सामान्यीकरण करण्यात आणि विकसित होत असलेल्या धोक्यांना ओळखण्यात मदत करतो, जरी ते निर्देशांकातून आधी ओळखलेल्या संवाद नमुन्यांशी अचूक जुळत नसले तरीही. सेंटिनलचा एक मुख्य फायदा म्हणजे त्याला कार्य करण्यासाठी मोठ्या संख्येने नमुन्यांची आवश्यकता नसते. नकारात्मक नमुन्यांचे प्रमाण कमी असल्यामुळे हे विशेषतः महत्त्वाचे आहे. आमची सध्याची उत्पादन प्रणाली नकारात्मक निर्देशांकात फक्त 13,000 नमुन्यांसह कार्य करते, तरीही संभाव्य हानी यशस्वीरित्या ओळखते.   

हा नकारात्मक निर्देशांक आमच्या मानवी मॉडरेटरांनी पुनरावलोकन केलेल्या संभाषणांपासून तयार केला जातो, जिथे आम्हाला बाल धोक्यात आणण्याच्या धोरण उल्लंघनाचे स्पष्ट पुरावे मिळाले आहेत (ज्यावर आम्ही आधीच कारवाई केली आहे). जेव्हा एखाद्या वापरकर्त्याच्या संवादात सातत्यपूर्ण, चिंताजनक क्रियाकलाप दिसतात, तेव्हा आम्ही त्या संभाषणातील विशिष्ट तुकड्यांना हानिकारक संवादाचे उदाहरण म्हणून लेबल करतो. या लेबल केलेल्या विभागांना एम्बेडिंग व्हेक्टरमध्ये रूपांतरित करून नकारात्मक निर्देशांकात जोडले जाते. या प्रशिक्षणामुळे, सेंटिनल फक्त विशिष्ट शब्द किंवा वाक्प्रचार चिन्हांकित करण्यापलीकडे जाऊन वास्तविक हानी पोहोचवण्याच्या हेतूने होणाऱ्या संभाषणांच्या संदर्भात्मक नमुन्यांमधून आणि त्यातील प्रगतीमधून शिकते. यामुळे, आमच्या इतर AI मध्यस्थीकरण प्रणालींना ओळखता न येणारी हानिकारक संभाषणेही ही प्रणाली ओळखू शकते, जरी ती सूक्ष्म स्वरूपात असली तरीही. 

उदाहरणार्थ, "अरे, कसे आहेस?" सारखी साधी संदेशे सकारात्मक निर्देशांकाशी जुळतील कारण त्यातील भाषा निरुपद्रवी आहे. "तुम्ही कुठून आहात?" असा संदेश संभाव्य ग्रूमिंग संभाषणांच्या नमुन्यांशी जुळतो, त्यामुळे तो नकारात्मक निर्देशांकाशी जुळेल. सिस्टम नवीन संदेशांची या निर्देशांकांशी तुलना करते, आणि जर एखादा वापरकर्ता "तुम्ही कुठून आहात?" असे विचारत असल्याचे दिसले, तर संभाषण नकारात्मक मार्गावर पुढे सुरू राहते का हे पाहण्यासाठी ती अधिक माहिती गोळा करणे सुरू करू शकते. जरी एका संदेशावर मानवी पुनरावलोकनासाठी फ्लॅग करण्यासाठी तो पुरेसा नसला, तरी सततचा नमुना पुरेसा ठरू शकतो.

हा विरोधाभासी मापन दृष्टिकोन SimCLR या स्व-पर्यवेक्षित शिक्षण फ्रेमवर्कवरून प्रेरित आहे, जो लेबल नसलेल्या डेटाशिवाय प्रतिमा प्रतिनिधित्व मॉडेल्सचे प्रशिक्षण करण्यासाठी विरोधाभासी मापन वापरतो. आम्ही ही तंत्रे मजकूर आणि व्हॉइस डेटासाठी अनुकूलित केली आहेत, ज्यामुळे Sentinel वापरकर्ता काय म्हणतो आणि ते ज्ञात नमुन्यांशी कसे जुळते किंवा विचलित होते हे समजू शकते. हे तीन टप्प्यांमध्ये कार्य करते: परस्परसंवाद स्कोरिंग, नमुना ट्रॅकिंग आणि कृती करणे.

वैयक्तिक परस्परसंवाद मोजणे: प्रत्येक संदेशाचे रूपांतर एम्बेडिंगमध्ये, म्हणजेच क्रियेच्या अर्थपूर्ण आणि संवादात्मक वैशिष्ट्यांना टिपणाऱ्या सदिशात (vector) केले जाते. सेन्टिनल हे एम्बेडिंग सकारात्मक आणि नकारात्मक निर्देशांकांशी तुलना करते. कोसाइन समानतेचा वापर करून, प्रणाली नंतर परस्परसंवाद कोणत्या निर्देशांकाजवळ आहे हे मोजते.

जर संवाद नकारात्मक निर्देशांकातील हानिकारक नमुन्यांशी अधिक सुसंगत असेल, तर त्याला उच्च धोका निर्देशक मिळतो. सुरक्षित किंवा हानिकारक संवाद नमुन्यांशी अर्थपूर्णरित्या सुसंगत नसलेली संदेशे फिल्टर केली जातात, ज्यामुळे प्रणाली फक्त संभाव्य संकेत असलेल्या संवादांवर लक्ष केंद्रित करू शकते. यामुळे चुकीच्या सकारात्मक निकालांना (false positives) कमी करता येते आणि कालांतराने संवादांचे मोजमाप करण्याची अचूकता सुधारते. 

फक्त सरासरी नव्हे तर असममिततेसह नमुने ट्रॅक करणे: वाईट हेतू असलेले लोक त्यांच्या हेतूला निरुपद्रवी सामग्रीमध्ये मिसळून लपवतात. जर आपण वापरकर्त्याच्या मापनाची फक्त कालांतराने सरासरी काढली, तर आपण शोधू इच्छित नकारात्मक संदेश गोंधळात हरवू शकतात. त्याऐवजी, सेन्टिनल कालांतराने मापनांच्या वितरणाकडे पाहते आणि सांख्यिकीय असममितता मोजते—हे क्वचित, उच्च-जोखीम संदेश जोखीम प्रोफाइल वरच्या दिशेने खेचत आहेत का हे शोधण्याचा एक मार्ग आहे.

यामुळे बहुतेक संवाद सामान्य दिसत असले तरीही धोकादायक संवादाकडे वाढत्या प्रवृत्तीची सुरुवातीची चिन्हे ओळखण्यास मदत होते. जेव्हा आम्ही स्कीव्हचे विश्लेषण करतो, तेव्हा आम्ही प्रमाणानुसारही समायोजन करतो. अत्यंत सक्रिय वापरकर्ते अधिक धोकादायक दिसू शकतात कारण त्यांच्या संवादात जुळणाऱ्या नोंदींची एकूण संख्या जास्त असते. एकूण प्रमाणाऐवजी सांख्यिकीय विक्षेपावर भर देऊन, आम्ही सतत संवाद साधणाऱ्या परंतु नियमपालक वापरकर्त्यांशी संबंधित चुकीच्या सकारात्मक निष्कर्षांना टाळू शकतो. यामुळे, सेन्टिनल फक्त विस्तारक्षमच नाही तर अधिक अचूक आहे, आणि धोका करण्याच्या हेतूचा शोध लावण्यासाठी मदत करणाऱ्या दुर्मिळ परंतु महत्त्वाच्या संकेतांना शोधण्यासाठी प्रचंड संवाद प्रवाहावर प्रक्रिया करण्यास सक्षम आहे. 

संकेतापासून कृतीकडे: जसे जसे अधिक परस्परसंवाद मोजले जातात, प्रणाली एक गतिशील जोखीम प्रोफाइल तयार करते. जेव्हा एखाद्या वापरकर्त्याच्या नमुन्यात हानी पोहोचवण्याच्या हेतूच्या संवादाशी मजबूत सुसंगतता दिसून येते, किंवा त्या दिशेने कल दिसतो, तेव्हा सेन्टिनल सखोल पुनरावलोकन आणि चौकशीसाठी एक ध्वज (flag) सक्रिय करते.