The Infrastructure Group, Roblox'ta Yaptığımız Her Şeyin Geleceğini Nasıl Şekillendiriyor?

• Altyapı Grubumuz, küresel Roblox platformunu destekleyen temel depolama, bilgi işlem, ağ, güvenlik ve mühendislik verimlilik sistemlerini tasarlar, kurar ve işletir.
• Bu sistemler büyük ölçekte çalışır ve 135.000'den fazla sunucu üzerinden 77,7 milyon* günlük aktif kullanıcıyı, exabaytlarca içerik dağıtımını ve 250 milyondan fazla eşzamanlı bağlantıyı destekler.
• Grubun yaptığı her şey, sistemlerimizin güvenilirliğini ve verimliliğini en üst düzeye çıkarmak ve mühendislerimizin mümkün olduğunca üretken olmalarına yardımcı olmak içindir.

Roblox'taki ürün mühendisleri, her günün her saniyesinde, küresel iç bulut altyapımızda çalışan 2.000'den fazla hizmeti kullanabilir. Platformumuz milyonlarca okuma ve yazma işlemini destekler, terabaytlarca veri akışını yönetir ve on milyonlarca HTTP isteğini işler. Günlük 77,7 milyon* aktif kullanıcımız Roblox'a geldiğinde, 250 milyondan fazla eşzamanlı bağlantı üzerinden bunu gerçekleştirir. 

Tüm bunlar, Roblox'taki teknolojik sistemlerin ölçeğini ve Altyapı Grubumuzun alanını oluşturur. Infra olarak bilinen bu grup, şirketimizin depolama, bilgi işlem, ağ, güvenlik ve mühendislik verimlilik sistemlerinin yanı sıra veri merkezlerimizi tasarlar, kurar ve işletir. Infra'nın hedefi, ölçeklenebilir, güvenilir ve kullanımı kolay sistemler sunmaktır. Her şeyden önce, grup üç temel ölçütü önemsiyor:

• Kullanılabilirlik — sistemlerimizin güvenilirliği
• Hizmet maliyeti — sistemlerimizin verimliliği
• Verimlilik — altyapı üzerinde çalışan Roblox mühendislerinin ne kadar verimli olmalarını sağladıkları

Infra grubu lideri ve mühendislikten sorumlu başkan yardımcısı Max Ross'un da belirttiği gibi, "yaptığımız her şey, kullanılabilirlik, hizmet maliyeti ve verimlilik olmak üzere bu üç unsurdan birini veya bir kombinasyonunu geliştirmeyi amaçlamaktadır."

Her Gün Yeni Sorunları Çözmek

Büyük bir güncellemenin ardından bir milyondan fazla kullanıcı popüler bir Roblox deneyimine katıldığında, "thundering herd" olarak bilinen bir fenomen ortaya çıkar, ancak yaratıcılarımız rahat olabilirler. Bunun nedeni, Infra'nın görevinin Roblox ürün mühendislerinin kullanıcılarımıza en iyi ve en istikrarlı deneyimi sunan bir platform oluşturabilmelerini sağlamak olmasıdır. Bunu yapmak, Infra ekibinin her gün karmaşık sistemlerle uğraşması ve yeni sorunları çözmesi anlamına gelir.

Neden mi? Çünkü on milyonlarca günlük aktif kullanıcıyı, herkesin bildiği bir sorun olan merkezi bir işlem işleme konumuna bağlamıyoruz. Bunun yerine, onları gerçek zamanlı olarak, küresel çapta birbirine bağlıyoruz. Sonuç olarak, Infra'nın binlerce hizmeti, iki ana veri merkezinde, dünya çapında çok sayıda uç veri merkezinde ve bazı genel bulut sağlayıcılarında 135.000'den fazla sunucuda çalışıyor.

Kullanılabilirlik — Sistemlerimizin Güvenilirliği

İşimizin başarısındaki en önemli faktörlerden biri, kullanıcıların Roblox'ta geçirdikleri zamandır ve güvenilir altyapı ile kullanıcının daha uzun süre kalması arasında doğrudan bir bağlantı olduğunu biliyoruz.

Her ay %99,99 kullanıcı çalışma süresi hedefliyoruz; bu da sistemlerimizin etkileşim saatlerinin en fazla %0,01'ini kesintiye uğratabileceği anlamına geliyor. Ürün mühendislerimiz ise şirket içi bulut altyapımızın en azından herhangi bir genel bulut kadar iyi çalışmasını bekliyor. Teknik Direktör Danny Yuan, "Altyapımız mümkün olduğunca sorunsuz çalışmalı ki diğer mühendisler kullanıcılarımızı memnun edecek ürünler geliştirebilsin" diyor.

Bunu gerçekleştirmenin bir yolu, gözlemlenebilirliği ve ağ bağlantısını Roblox deneyimlerini destekleyen uygulamalara daha da yaklaştırmaktır. Her hizmet örneğinin yanına Envoy proxy sidecar'ları yerleştiriyor ve proxy'ler ile harici hizmetler arasındaki bağlantıların temel durumunu gözlemlemek için eBPF ile denemeler yapıyoruz. Bu, paket kayıplarını anlamamıza ve en önemlisi azaltmamıza yardımcı oluyor, diye açıklıyor Teknik Direktör Rob Cameron.

Cadılar Bayramı Kesintisi

Infra'nın güvenilirlik konusundaki çabalarının çoğu, 2021'de yaşadığımız 73 saat süren zincirleme kesintiden öğrendiklerimizden kaynaklanıyor. Birkaç yıl önceki o an, dayanıklı bir altyapı oluşturma yaklaşımımız ve kısa ve uzun vadeli planlama ihtiyacımız açısından belirleyici bir an oldu. "Bu, 'baskıları durdurun' anıydı," diyor Ross, "Roblox'taki herkese bunun bir daha asla olmayacağını garanti edene kadar düşünmemiz gereken tek şey buydu."

Hizmet Maliyetleri (Verimlilik)

Günümüzde, kamu bulut sağlayıcıları ağ, filo yönetimi vb. gibi temel araçları sunduğundan, teknoloji şirketleri nadiren kendi bulut altyapılarını kurmaktadır.

Ancak bizim ölçeğimizde ve merkezi olmayan yapımızla, özel bir bulut işletmek bizim için daha uygun maliyetlidir. Bu tür karmaşık sistemleri kendimiz işletmenin getirdiği zorlukları her zaman tespit ediyor ve aşıyoruz. 

İstediğimiz maliyet tasarrufunu sağlamak için sistem tasarımına özen göstermeliyiz. Küresel özel bulutumuz, yaratıcılar ve kullanıcılar topluluğumuzu desteklemek için daha fazla yatırım yapabilmemiz amacıyla verimliliğe büyük önem vermemizi gerektiriyor.

Ürün mühendislerinin, büyük ölçekte verimli bir şekilde çalışabilen özellikler geliştirmelerini kolaylaştırmak için çaba sarf ediyoruz. Aynı zamanda, küçük bir ekibin büyük ölçekli altyapıyı yönetmesine olanak tanıyan, modern üretim araçları geliştiriyoruz. Teknik Direktör Michael Wolf, “Altyapı ekibinin dışındaki kişiler, altyapımızın neredeyse her parçasını kökten yeniden tasarladığımızın her zaman farkında olmayabilir” diyor.

Bu, bare-metal yapılandırmadan, hem çekirdek hem de uç veri merkezlerinde ortak bir kontrol düzlemi bulunan, Linux tabanlı, konteynerleştirilmiş bir mimariye geçiş anlamına geliyor. Sonuç olarak, Roblox mühendisleri devasa bir yeni açık kaynaklı yazılım araçları deposundan yararlanabilecek. Ayrıca, aynı makinelerde birden fazla iş yükünü eşzamanlı olarak çalıştırmak daha kolay hale gelecek.

“Büyük zorlukların üstesinden gelmekten korkmuyoruz,” diyor Teknik Direktör Andy Wilcox, Infra’nın yeni telemetri, hesaplama ve dağıtım yığınlarına yaptığı son geçişe atıfta bulunarak. “Bunlar, üstlenmeye istekli bir mühendislik organizasyonu olarak üstesinden gelmeyi başardığımız temel şeyler.”

Bu bir gecede gerçekleşmeyecek. Roblox'u öylece yeniden başlatamayacağımız için bu yıllar alacak; makinelerimizin çalışır durumda kalması gerekiyor. Bu da yazılımı yeniden yazma ve yeni araçlara uyum sağlama gibi manuel bir süreci gerektiriyor. Wolf, "Bu, otoyolda araba sürerken lastikleri değiştirmek gibi bir şey" diyor.

Verimlilik

Mühendislik ekibimiz her gün büyük sorunları verimli bir şekilde çözüyor ve sistemlerimizden mümkün olduğunca fazla verim alıyor. 

Bunun için mühendislerimizin üretkenliği hakkında düzenli olarak nicel ve nitel veriler topluyoruz. Bu, üçüncü taraf çözümlerle veya kendi özel araçlarımızla iyileştirilebilecek darboğazları belirlememize yardımcı oluyor.

Buna bir örnek, kod inceleme sürecimizle ilgili mühendislerin sorunlarını gidermek için Mart ayında yayınladığımız bir gösterge paneli. Bu araç, mühendislerin tanımladığımız çok sayıda kritere göre incelemeleri gereken PR'leri takip etmelerine yardımcı oluyor. Ayrıca kod inceleme görevlerini birleştiriyor ve bildirimlerin planlanmasına olanak tanıyor. Bu gösterge panelinin yaygın olarak benimsenmesinden bu yana, P75 PR'lerimizin birleştirilme süresi yüzde 30 azaldı.

Ve elbette, mühendislik verimliliğinin en önemli özelliği, üzerine inşa edilebilecek istikrarlı ve ölçeklenebilir bir altyapıdır; bu nedenle, düşük seviyeli sistemlerimize her zaman uzun vadeli yatırımlar yapıyoruz.

Bu, Roblox'un iki temel değerini yansıtıyor: Uzun vadeli düşünmek ve işleri halletmek. Müşteri odaklı bir altyapı grubu olarak, müşterilerimizi daha başarılı ve üretken hale getirme konusunda pragmatik bir yaklaşım sergiliyoruz. Müşterilerimizin, yönetilen hizmet olarak sunmadığımız bir şeye ihtiyacı varsa, özel bulutumuzdaki dahili araçlarımızın yanı sıra tedarikçi çözümlerini de entegre etmeyi düşünebiliriz.

Ancak kısa vadeli “işleri devam ettirme” çözümleri genellikle cazip gelse de, bunlar ileriye dönük mühendislik ile dengelenmelidir.

Bunun getirisi, üretkenliği en üst düzeye çıkarmanın şirkete fayda sağlaması ve aynı zamanda iş hedeflerini karşılamak üzere projeleri tamamlamamızı mümkün kılmasıdır.

Keşfi Teşvik Eden Bir Kültür

Bir milyar insanı nezaket ve güvenlik içinde birbirine bağlamayı hedeflediğimiz için, her zaman üstesinden gelmemiz gereken büyük teknik zorluklar olacaktır. Bunların çoğunu çözdük ve çok şey öğrendik. Ancak gözümüz, sistemlerimizin karmaşıklığını azaltmaya çalışırken, daha da ölçeklenebilir bir altyapıya çevrilmiş durumda. 

Bu çelişen hedefler, özellikle artan AI iş yüklerini üstlenirken, önümüzdeki yıllarda sayısız yeni ders verecektir. Hedeflerimize ulaşmanın, Infra'nın sistemlerinin zaman içinde önemli ölçüde gelişmesi gerektiği anlamına geldiğinden eminiz.

Infra mühendisleri için her proje, şirket için potansiyel bir dönüşüm noktasıdır ve herkesin çalışması önemlidir. Wolf, "Infra, insanların Roblox ve kullanıcılarımız için gerçekten önemli olan harika işler yapabileceği ve hiçbir şeyin gerçekten yasak olmadığı bir organizasyondur" diyor.

Müşteri odaklı zihniyet

Nihayetinde işimiz, diğer Roblox mühendislerinin bugün ve gelecekte daha etkili olmalarına yardımcı olmak, dersleri hızlı bir şekilde öğrenmek ve bunlardan elde edilen çözümleri sunmaktır.

Bu zorluğun üstesinden gelmek için kararlıyız. Ross, “Bugün, bu çeyrekte ve bu yıl Roblox’a değer kattığımızdan emin olmak istiyorum,” diyor. “Ayrıca, önümüzdeki 5 ila 10 yıl boyunca bizi iyi bir konuma getirecek bir temel oluşturduğumuzdan da emin olmak istiyorum.”

* 31 Mart 2024 tarihinde sona eren 3 aylık dönem itibarıyla