इन्फ्रास्ट्रक्चर गट Roblox मध्ये आपण जे काही करतो त्याचे भविष्य कसे पुढे नेतो

• आमचा इन्फ्रास्ट्रक्चर गट जागतिक Roblox प्लॅटफॉर्मला सामर्थ्य देणाऱ्या मूलभूत स्टोरेज, कम्प्यूट, नेटवर्किंग, सुरक्षा आणि अभियांत्रिकी उत्पादकता प्रणालींचे डिझाइन, बांधणी आणि संचालन करतो.
• ही प्रणाली प्रचंड प्रमाणात कार्य करते—दररोज 77.7 दशलक्ष* सक्रिय वापरकर्त्यांना समर्थन देते, एक्सابइट्स सामग्री वितरित करते, आणि 135,000 पेक्षा जास्त सर्व्हरवर 250 दशलक्षाहून अधिक समकालीन कनेक्शन हाताळते.
• गट जे काही करतो ते सर्व आमच्या प्रणालींची विश्वासार्हता आणि कार्यक्षमता वाढवण्यासाठी आणि आमच्या अभियंत्यांना शक्य तितके उत्पादनक्षम होण्यास मदत करण्यासाठी असते.

दररोजच्या प्रत्येक सेकंदाला, Roblox येथील उत्पादन अभियंते आमच्या जागतिक अंतर्गत क्लाउड पायाभूत सुविधांवर चालणाऱ्या 2,000 पेक्षा जास्त सेवांचा वापर करू शकतात. आमचे प्लॅटफॉर्म लाखो रीड्स आणि रायट्सना समर्थन देते, टेराबाइट्सच्या थ्रूपुटला हाताळते आणि दहा लाख HTTP विनंत्यांवर प्रक्रिया करते. जेव्हा आमचे 77.7 दशलक्ष* दैनंदिन सक्रिय वापरकर्ते Roblox वर येतात, तेव्हा ते 250 दशलक्षाहून अधिक समवेत कनेक्शन्सद्वारे येतात. 

हे सर्व Roblox येथील तांत्रिक प्रणालींचे प्रमाण आहे, आणि हे आमच्या इन्फ्रास्ट्रक्चर गटाचे क्षेत्र आहे. इन्फ्रा म्हणून ओळखला जाणारा हा गट आमच्या कंपनीच्या स्टोरेज, कम्प्यूट, नेटवर्किंग, सुरक्षा आणि अभियांत्रिकी उत्पादकता प्रणाली तसेच आमच्या डेटा सेंटरचे डिझाइन, बांधणी आणि संचालन करतो. इन्फ्राचे उद्दिष्ट म्हणजे विस्तारक्षम, विश्वासार्ह आणि वापरण्यास सोप्या प्रणाली प्रदान करणे. इतर सर्व गोष्टींपेक्षा, हा गट तीन मुख्य मापदंडांना महत्त्व देतो:

• उपलब्धता—आमच्या प्रणालींची विश्वासार्हता
• सेवा देण्याचा खर्च—आमच्या प्रणालींची कार्यक्षमता
• उत्पादकता—ते इन्फ्रास्ट्रक्चरवर काम करणाऱ्या Roblox अभियंत्यांना किती उत्पादनक्षम बनवतात

इन्फ्रा गटाचे प्रमुख आणि अभियांत्रिकीचे उपाध्यक्ष मॅक्स रॉस यांच्या म्हणण्यानुसार, "आपण जे काही करतो ते या तीन गोष्टींपैकी एखाद्या एका किंवा त्यांचे संयोजन—उपलब्धता, सेवा-खर्च आणि उत्पादकता—यांना पुढे नेण्यावर लक्ष केंद्रित करते."

दररोज नवीन समस्या सोडवणे

मोठ्या अपडेटनंतर दशलक्षाहून अधिक वापरकर्ते एखाद्या हिट Roblox अनुभवात सामील होतात, ज्याला "थंडरिंग हर्ड" असे म्हणतात, तेव्हा आमचे निर्माते निश्चिंत राहू शकतात. कारण Infra चे काम म्हणजे Roblox उत्पादन अभियंत्यांना असे प्लॅटफॉर्म तयार करण्यास सक्षम करणे जे आमच्या वापरकर्त्यांना सर्वोत्तम आणि सर्वात स्थिर अनुभव देईल. आणि हे करण्याचा अर्थ असा की Infra टीमला दररोज जटिल प्रणाली हाताळायला आणि नवीन समस्या सोडवायला मिळतात.

का? कारण आम्ही कोट्यावधी DAUs (दैनिक सक्रिय वापरकर्ते) एका केंद्रीकृत व्यवहार-प्रक्रिया स्थळाशी जोडत नाही, जी एक सर्वसामान्य समस्या आहे. त्याऐवजी, आम्ही त्यांना एकमेकांशी रिअल-टाइममध्ये, जागतिक स्तरावर जोडत आहोत. एकूणच, इन्फ्राच्या हजारो सेवा दोन मुख्य डेटा सेंटरमधील 135,000 पेक्षा जास्त सर्व्हरवर, जगभरातील असंख्य एज डेटा सेंटरवर, आणि काही सार्वजनिक क्लाउड प्रदात्यांवर चालतात.

उपलब्धता—आमच्या प्रणालींची विश्वासार्हता

आमच्या व्यवसायाच्या यशात एक महत्त्वाचा घटक म्हणजे Roblox वर वापरकर्त्यांनी घालवलेला वेळ, आणि आम्हाला माहित आहे की विश्वासार्ह पायाभूत सुविधा आणि वापरकर्त्याच्या अधिक काळ टिकून राहण्यामध्ये थेट संबंध आहे.

आम्हाला प्रत्येक महिन्याला 99.99 टक्के वापरकर्ता अपटाइम हवा आहे, म्हणजे आमच्या प्रणालींनी एकूण सहभाग तासांपैकी 0.01 टक्क्यांपेक्षा जास्त व्यत्यय आणू नये. आणि आमचे उत्पादन अभियंते अपेक्षा करतात की आमची अंतर्गत क्लाउड पायाभूत सुविधा कोणत्याही सार्वजनिक क्लाउडइतकीच किमान चांगली कामगिरी करेल. "आमची पायाभूत सुविधा शक्य तितकी सुरळीत चालली पाहिजे," असे तांत्रिक संचालक डॅनी युआन म्हणतात, "जेणेकरून इतर अभियंते आमच्या वापरकर्त्यांना आनंद देणारी उत्पादने तयार करू शकतील."

या दिशेने आम्ही एक मार्ग म्हणून Roblox अनुभवांना चालना देणाऱ्या अनुप्रयोगांच्या जवळ निरीक्षणीयता आणि नेटवर्क कनेक्टिव्हिटी आणत आहोत. आम्ही प्रत्येक सेवा उदाहरणाजवळ Envoy प्रॉक्सी साइडकार तैनात करत आहोत आणि प्रॉक्सी व बाह्य सेवांमधील कनेक्शनच्या अंतर्निहित स्थितीचे निरीक्षण करण्यासाठी eBPF चा प्रयोग करत आहोत. यामुळे आम्हाला पॅकेट ड्रॉप्स समजून घेण्यास आणि, सर्वात महत्त्वाचे म्हणजे, त्यांना कमी करण्यास मदत होते, असे तांत्रिक संचालक रॉब कॅमेरॉन स्पष्ट करतात.

हॅलोवीन आऊटेज

इन्फ्राच्या विश्वसनीयतेच्या अनेक प्रयत्नांची मुळे २०२१ मध्ये झालेल्या आमच्या सलग ७३ तासांच्या अपायजनातून मिळालेल्या शिकवणीत आहेत. काही वर्षांपूर्वीचा तो एक क्षण आमच्या लवचिक पायाभूत सुविधा तयार करण्याच्या दृष्टीकोनात आणि अल्पकालीन व दीर्घकालीन नियोजनाच्या गरजेत एक निर्णायक क्षण ठरला. "तो एक 'स्टॉप द प्रेस' क्षण होता," रॉस म्हणतो, "जोपर्यंत आम्ही रॉब्लॉक्समधील प्रत्येकाला हे पुन्हा कधीच घडणार नाही याची खात्री देऊ शकत होतो, तोपर्यंत आमच्यासाठी विचार करण्यासारखे दुसरे काहीच नव्हते."

सेवा देण्याचा खर्च (कार्यक्षमता)

आजकाल तंत्रज्ञान कंपन्या क्वचितच स्वतःची क्लाउड पायाभूत सुविधा तयार करतात कारण सार्वजनिक क्लाउड प्रदाते नेटवर्किंग, फ्लीट व्यवस्थापन इत्यादी आवश्यक साधने पुरवतात.

पण आमच्या प्रमाणात आणि आमच्या विकेंद्रीकृत स्वरूपात, खासगी क्लाउड राखणे आमच्यासाठी अधिक किफायतशीर आहे. आम्ही नेहमीच अशा जटिल प्रणाली स्वतः राखताना येणाऱ्या आव्हानांना ओळखून त्यावर मात करत असतो. 

आम्हाला अपेक्षित खर्च बचत मिळावी यासाठी, सिस्टम डिझाइनबद्दल विचारपूर्वक असणे आवश्यक आहे. आमच्या जागतिक खासगी क्लाउडला कार्यक्षमतेकडे बारकाईने लक्ष देणे आवश्यक आहे, जेणेकरून आम्ही आमच्या निर्माता आणि वापरकर्त्यांच्या समुदायाला पाठिंबा देण्यासाठी अधिक गुंतवणूक करू शकू.

आम्ही उत्पादन अभियंत्यांसाठी मोठ्या प्रमाणावर कार्यक्षमतेने चालू होऊ शकणाऱ्या वैशिष्ट्यांची निर्मिती करणे सोपे करण्याचा प्रयत्न करत आहोत. त्याच वेळी, आम्ही सुव्यवस्थित उत्पादन साधने विकसित करत आहोत जी एका लहान टीमला मोठ्या प्रमाणावरील पायाभूत सुविधा चालवण्यास अनुमती देतात. "इन्फ्राबाहेरील लोकांना नेहमीच कदाचित माहिती नसते," असे तांत्रिक संचालक मायकेल वुल्फ म्हणतात, "की आम्ही आमच्या पायाभूत सुविधांच्या जवळजवळ प्रत्येक भागाचे नाटकीयरीत्या पुनराविष्कार करत आहोत."

याचा अर्थ म्हणजे बेअर-मेटल कॉन्फिगरेशनपासून कोअर आणि एज डेटा सेंटरमध्ये समान कंट्रोल प्लेनसह लिनक्स-आधारित, कंटेनाइज्ड आर्किटेक्चरकडे विकसित होणे. परिणामी, Roblox अभियंते मोठ्या प्रमाणात ओपन-सोर्स सॉफ्टवेअर साधनांचा नवीन रिपॉझिटरी वापरू शकतील. आणि एकाच मशीनवर एकाच वेळी अनेक वर्कलोड चालवणे सोपे होईल.

"मोठ्या आव्हानांना सामोरे जाण्यास आम्हाला भीती वाटत नाही," असे तांत्रिक संचालक अँडी विलकॉक्स म्हणतात, जे इन्फ्राच्या अलीकडील नवीन टेलिमेट्री, कम्प्युट आणि डिप्लॉयमेंट स्टॅक्सकडे झालेल्या संक्रमणाकडे इशारा करतात. "ही मूलभूत गोष्टी आहेत ज्या आम्ही अभियांत्रिकी संघटना म्हणून, त्यांना स्वीकारण्याची तळमळ ठेवून, हाताळू शकलो आहोत."

हे एका रात्रीत होणार नाही. याला अनेक वर्षे लागतील कारण आम्ही फक्त Roblox रीबूट करू शकत नाही—आमची मशीने सतत चालू आणि चालू स्थितीत ठेवावी लागतात. यासाठी सॉफ्टवेअर पुन्हा लिहिण्याची आणि नवीन साधनांशी जुळवून घेण्याची मॅन्युअल प्रक्रिया करावी लागेल. "हे अगदी कार चालवत असतानाच तिचे टायर बदलण्यासारखे आहे," असे वुल्फ म्हणतो.

उत्पादकता

दररोज, आमची अभियांत्रिकी टीम मोठ्या प्रमाणावर असलेल्या मोठ्या समस्या कुशलतेने सोडवते आणि आमच्या प्रणालींमधून शक्य तितका जास्त फायदा मिळवते. 

त्यासाठी, आम्ही नियमितपणे आमच्या अभियंत्यांच्या उत्पादकतेवरील मात्रात्मक आणि गुणात्मक डेटा गोळा करतो. यामुळे अडथळे ओळखता येतात, जे तृतीय-पक्ष उपाय किंवा आमच्या स्वतःच्या खास साधनांद्वारे सुधारता येतात.

याचे एक उदाहरण म्हणजे मार्चमध्ये आम्ही आमच्या कोड पुनरावलोकन प्रक्रियेतील अभियंत्यांच्या अडचणींवर उपाय म्हणून जारी केलेले डॅशबोर्ड. हे साधन अभियंत्यांना आम्ही परिभाषित केलेल्या अनेक निकषांवर आधारित त्यांच्या पुनरावलोकनाची आवश्यकता असलेल्या PRs (पुल विनंत्या) ट्रॅक करण्यात मदत करते. हे कोड पुनरावलोकन कार्ये एकत्र करते आणि सूचना वेळापत्रक करण्याची परवानगी देते. या डॅशबोर्डचा मोठ्या प्रमाणावर अवलंब केल्यापासून, आमच्या P75 PR ते मर्ज होण्याचा वेळ 30 टक्क्यांनी कमी झाला आहे.

आणि अर्थातच, अंतिम अभियांत्रिकी उत्पादकता वैशिष्ट्य म्हणजे बांधण्यासाठी स्थिर, विस्तारक्षम पायाभूत सुविधा, त्यामुळे आम्ही नेहमीच आमच्या कमी-स्तरीय प्रणालींमध्ये दीर्घकालीन गुंतवणूक करतो.

हे दोन मूलभूत Roblox मूल्ये प्रतिबिंबित करते: दीर्घकालीन दृष्टीकोन ठेवणे आणि काम पूर्ण करणे. ग्राहक-केंद्रित पायाभूत सुविधा गट म्हणून, आम्ही आमच्या ग्राहकांना अधिक यशस्वी आणि उत्पादक बनविण्याबाबत व्यावहारिक आहोत. जर त्यांना काहीतरी हवे असेल जे आम्ही व्यवस्थापित सेवा म्हणून ऑफर करत नाही, तर आम्ही आमच्या अंतर्गत साधनांसह आमच्या खासगी क्लाउडमध्ये विक्रेता उपाय एकत्रित करण्याचा विचार करू शकतो.

परंतु अल्पकालीन "प्रकाश चालू ठेवण्याचे" उपाय अनेकदा आकर्षक वाटू शकतात, परंतु त्यांना भविष्योन्मुख अभियांत्रिकीसोबत संतुलित केले पाहिजे.

परिणाम असा की उत्पादकता जास्तीत जास्त वाढवल्याने कंपनीला फायदा होतो आणि व्यवसाय उद्दिष्टे पूर्ण करण्यासाठी प्रकल्प वेळेत पूर्ण करता येतात.

अन्वेषणाला प्रोत्साहन देणारी संस्कृती

आम्ही सभ्यता आणि सुरक्षिततेसह अब्जावधी लोकांना जोडण्याचा प्रयत्न करत असताना, नेहमीच मोठ्या तांत्रिक आव्हानांना सामोरे जावे लागेल. आम्ही अनेक समस्या सोडवल्या आहेत आणि बरेच काही शिकलो आहोत. परंतु आमची नजर आणखीनच विस्तारता येण्याजोग्या पायाभूत सुविधांवर आहे, तरच आमच्या प्रणालींची गुंतागुंत कमी करण्यासाठी आम्ही काम करत आहोत. 

या परस्परसंघर्ष करणाऱ्या उद्दिष्टांमुळे येणाऱ्या वर्षांत असंख्य नवीन धडे मिळतील, विशेषतः जसे आपण वाढत्या AI कार्यभारांना हाताळू लागू. आणि आम्हाला नक्कीच माहीत आहे की आमची उद्दिष्टे साध्य करण्यासाठी Infra च्या प्रणालींना कालांतराने लक्षणीयरीत्या विकसित होणे आवश्यक आहे.

Infra अभियंत्यांसाठी, प्रत्येक प्रकल्प कंपनीसाठी परिवर्तनाचा संभाव्य बिंदू असतो आणि प्रत्येकाचे काम महत्त्वाचे असते. वुल्फ म्हणतो, "Infra ही अशी संस्था आहे जिथे लोक Roblox आणि आमच्या वापरकर्त्यांसाठी खरोखरच महत्त्वाचे उत्कृष्ट काम करू शकतात, आणि जिथे प्रत्यक्षात काहीही निषिद्ध नाही."

ग्राहक-केंद्रित मानसिकता

शेवटी, आमचे काम म्हणजे इतर Roblox अभियंत्यांना आज आणि भविष्यात अधिक प्रभावी बनण्यास मदत करणे, ज्यासाठी आम्हाला लवकर धडे शिकावे लागतात आणि त्यातून मिळालेल्या उपायांची अंमलबजावणी करावी लागते.

आम्ही त्या आव्हानाला थेट सामोरे जात आहोत. रॉस म्हणतो, "मला हे सुनिश्चित करायचे आहे की आपण आज, या तिमाहीत आणि या वर्षी Roblox ला मूल्य प्रदान करत आहोत. मला हे देखील सुनिश्चित करायचे आहे की आपण अशी पाया रचत आहोत जी पुढील ५ ते १० वर्षांसाठी आम्हाला चांगल्या स्थितीत ठेवेल."

* 31 मार्च 2024 रोजी संपलेल्या 3 महिन्यांपर्यंत