Inside the Tech - Sürükleyici Sesli İletişimde Güvenlik Sorunlarını Çözmek

Ekibinizin üstlendiği en büyük teknik zorluklar nelerdir?

Kullanıcılarımıza güvenli ve olumlu bir deneyim sunmayı öncelikli hedefimiz olarak görüyoruz. Güvenlik ve nezaket bizim için her zaman en önemli önceliktir, ancak bunu gerçek zamanlı olarak yönetmek büyük bir teknik zorluk olabilir. Herhangi bir sorun olduğunda, bunu inceleyip gerçek zamanlı olarak harekete geçmek istiyoruz, ancak ölçeğimiz göz önüne alındığında bu zorlu bir görev. Bu ölçeği etkin bir şekilde yönetebilmek için otomatik güvenlik sistemlerinden yararlanmamız gerekiyor.

Odaklandığımız bir diğer teknik zorluk ise moderasyon için aldığımız güvenlik önlemlerinin doğruluğudur. Politika ihlallerini ele almak ve gerçek zamanlı olarak doğru geri bildirim sağlamak için iki moderasyon yaklaşımı vardır: reaktif ve proaktif moderasyon. Reaktif moderasyon için, platformdaki kullanıcıların bildirimlerine yanıt vererek çalışan ve farklı politika ihlali türlerini doğru bir şekilde tanımlayan makine öğrenimi (ML) modelleri geliştiriyoruz. Proaktif olarak ise, politikalarımızı ihlal eden potansiyel içeriği gerçek zamanlı olarak tespit etmek ve kullanıcıları davranışları konusunda eğitmek için çalışıyoruz. Konuşulan kelimeleri anlamak ve ses kalitesini iyileştirmek karmaşık bir süreçtir. Şimdiden ilerleme kaydediyoruz, ancak nihai hedefimiz, politika ihlali davranışlarını gerçek zamanlı olarak tespit edebilen son derece hassas bir modele sahip olmaktır.

Bu teknik zorlukların üstesinden gelmek için kullandığımız yenilikçi yaklaşımlar ve çözümler nelerdir?

Ses verilerini analiz edebilen ve politika ihlallerinin türüne göre bir güven seviyesi (ör. bunun zorbalık, küfür vb. olma olasılığı ne kadar?) sunan uçtan uca bir makine öğrenimi modeli geliştirdik. Bu model, belirli bildirimleri otomatik olarak kapatma yeteneğimizi önemli ölçüde geliştirdi. Modelimiz güvenilir olduğunda ve insanlardan daha iyi performans gösterdiğinden emin olduğumuzda harekete geçiyoruz. Lansmandan sadece birkaç ay sonra, bu model ile neredeyse tüm İngilizce sesli kötüye kullanım raporlarını denetleyebildik. Bu modelleri şirket içinde geliştirdik ve bu, birçok açık kaynak teknolojisi ile arkasındaki teknolojiyi oluşturmak için yaptığımız çalışmalar arasındaki işbirliğinin bir kanıtıdır.

Neyin uygun olduğunu gerçek zamanlı olarak belirlemek oldukça karmaşık görünüyor. Bu nasıl işliyor?

Sistemin bağlamı algılayabilmesi için çok kafa yorduk. Ayrıca, eylemlerimizin haklı olduğundan emin olmak için harekete geçmeden önce zaman içindeki kalıpları da inceliyoruz. Politikalarımız, kişinin yaşına, kamusal alanda mı yoksa özel bir sohbette mi olduğuna ve diğer birçok faktöre göre farklılık gösteriyor. Gerçek zamanlı olarak nezaketi teşvik etmenin yeni yollarını araştırıyoruz ve makine öğrenimi bunun merkezinde yer alıyor. Kullanıcılara politikalarımızı hatırlatmak için kısa süre önce otomatik push bildirimlerini devreye aldık. Ayrıca, bir kişinin niyetini daha iyi anlamak ve alay veya şaka gibi durumları ayırt edebilmek için ses tonu gibi diğer faktörleri de inceliyoruz. Son olarak, bazı kişiler birden fazla dil konuştuğu veya hatta cümlenin ortasında dil değiştirdiği için çok dilli bir model de geliştiriyoruz. Bunların herhangi birinin mümkün olabilmesi için doğru bir modele sahip olmamız gerekiyor.

Şu anda taciz, ayrımcılık ve küfür gibi en belirgin kötüye kullanım biçimlerini ele almaya odaklandık. Bunlar, kötüye kullanım bildirimlerinin çoğunluğunu oluşturuyor. Amacımız, bu alanlarda önemli bir etki yaratmak ve çevrimiçi ortamda medeni bir sohbeti teşvik etmenin ve sürdürmenin neye benzediğine dair sektör normlarını belirlemektir. Herkes için güvenli ve medeni bir deneyimi etkin bir şekilde teşvik etmemizi sağladığı için, makine öğrenimini gerçek zamanlı olarak kullanma potansiyelinden heyecan duyuyoruz.

Roblox'ta çözdüğümüz zorluklar neden benzersiz? İlk olarak hangilerini çözebiliriz?

Spatial Voice teknolojisine sahip Sohbetimiz, gerçek dünyadaki iletişimi taklit ederek daha sürükleyici bir deneyim yaratıyor. Örneğin, birinin solunda durursam, beni sol kulağından duyacak. Gerçek dünyada iletişimin nasıl işlediğine benzer bir sistem oluşturuyoruz ve bu, ilk olarak çözebileceğimiz bir zorluktur.

Ben de bir oyuncu olarak, çevrimiçi oyunlarda çok fazla taciz ve zorbalığa tanık oldum. Bu, kullanıcıların anonimliği ve sonuçların olmaması nedeniyle genellikle göz ardı edilen bir sorundur. Ancak, bu konuda üstesinden gelmeye çalıştığımız teknik zorluklar, diğer platformların karşılaştığı zorluklardan birkaç alanda farklıdır. Bazı oyun platformlarında etkileşimler takım arkadaşlarıyla sınırlıdır. Roblox, gerçek hayatı daha yakından taklit eden bir sosyal ortamda vakit geçirmek için çeşitli yollar sunar. Makine öğrenimi ve gerçek zamanlı sinyal işleme alanındaki gelişmeler sayesinde, taciz edici davranışları etkili bir şekilde tespit edip ele alabiliyoruz; bu da bizim sadece daha gerçekçi bir ortam sunmakla kalmayıp, aynı zamanda herkesin başkalarıyla etkileşim kurup bağlantı kurarken kendini güvende hissettiği bir ortam sunduğumuz anlamına geliyor. Teknolojimiz, sürükleyici platformumuz ve kullanıcıları politikalarımız hakkında bilgilendirme konusundaki kararlılığımızın birleşimi, bu zorlukların üstesinden gelmemizi sağlıyor.

Bu teknik çalışmayı yaparken öğrendiğiniz en önemli şeyler nelerdir?

Oldukça fazla şey öğrendiğimi düşünüyorum. Ben bir makine öğrenimi mühendisi değilim. Çoğunlukla oyun sektöründe ön uçta çalıştım, bu yüzden bu modellerin nasıl çalıştığı konusunda daha derinlemesine bilgi sahibi olabilmek benim için çok önemliydi. Umudum, nezaketi teşvik etmek için attığımız adımların, çevrimiçi toplulukta eksik olan empati düzeyine dönüşmesidir.

Son bir ders ise, her şeyin girdiğiniz eğitim verilerine bağlı olduğudur. Verilerin doğru olması için, insanların belirli politika ihlali davranışlarını sınıflandırmak için kullanılan etiketler üzerinde anlaşması gerekir. Herkesin üzerinde anlaşabileceği kaliteli verilerle eğitim yapmak gerçekten çok önemlidir. Bu, çözmesi gerçekten zor bir sorundur. ML'nin diğer her şeyden çok daha ileride olduğu alanlar olduğunu görmeye başlıyorsunuz, ancak diğer alanlarda ise henüz erken aşamalarda olduğunu görüyorsunuz. ML'nin hala gelişmekte olduğu birçok alan var, bu nedenle mevcut sınırlarının farkında olmak çok önemli.

Ekibiniz en çok hangi Roblox değerine uyuyor?

Topluma saygı, bu süreç boyunca bize yol gösteren değerimizdir. Öncelikle, platformumuzda nezaketi artırmaya ve politika ihlallerini azaltmaya odaklanmalıyız. Bu, genel kullanıcı deneyimi üzerinde önemli bir etkiye sahiptir. İkinci olarak, bu yeni özellikleri nasıl kullanıma sunacağımızı dikkatlice düşünmeliyiz. Modeldeki yanlış pozitif sonuçlara (ör. bir şeyi yanlışlıkla kötüye kullanım olarak işaretlemek) dikkat etmeli ve kullanıcıları haksız yere cezalandırmaktan kaçınmalıyız. Modellerimizin performansını ve bunların kullanıcı etkileşimi üzerindeki etkisini izlemek çok önemlidir.

Roblox ve ekibinizin gittiği yön konusunda sizi en çok heyecanlandıran şey nedir?

Halka açık sesli iletişimi iyileştirme konusunda önemli ilerlemeler kaydettik, ancak hala yapılacak çok iş var. Özel iletişim, keşfedilmesi heyecan verici bir alan. Özel iletişimi iyileştirmek, kullanıcıların yakın arkadaşlarına kendilerini ifade etmelerine olanak sağlamak, deneyimler arasında veya bir deneyim sırasında arkadaşlarıyla etkileşim kurarken sesli görüşme yapabilmelerini sağlamak için büyük bir fırsat olduğunu düşünüyorum. Ayrıca, kullanıcıların kendi kendilerini organize etmelerine, topluluklara katılmalarına, içerik ve fikir paylaşmalarına olanak tanıyan daha iyi araçlarla bu toplulukları destekleme fırsatı da olduğunu düşünüyorum.

Büyümeye devam ederken, bu genişleyen toplulukları desteklemek için sohbet teknolojimizi nasıl ölçeklendirebiliriz? Yapabileceğimiz pek çok şeyin henüz yüzeyini kazıyoruz ve bence sektör genelinde çevrimiçi iletişim ve işbirliğinin nezaketini daha önce hiç yapılmamış bir şekilde iyileştirme şansı var. Doğru teknoloji ve makine öğrenimi yetenekleriyle, çevrimiçi iletişimin geleceğini şekillendirmek için benzersiz bir konumdayız.