Inside the Tech - Menjamin Keamanan dalam Komunikasi Suara Imersif

Apa saja tantangan teknis terbesar yang dihadapi tim Anda?

Kami memprioritaskan pengalaman yang aman dan positif bagi pengguna kami. Keamanan dan kesopanan selalu menjadi prioritas utama bagi kami, tetapi menanganinya secara real-time bisa menjadi tantangan teknis yang besar. Setiap kali ada masalah, kami ingin dapat meninjaunya dan mengambil tindakan secara real-time, tetapi hal ini sulit dilakukan mengingat skala kami yang besar. Untuk menangani skala ini secara efektif, kami perlu memanfaatkan sistem keamanan otomatis.

Tantangan teknis lain yang menjadi fokus kami adalah akurasi langkah-langkah keamanan untuk moderasi. Ada dua pendekatan moderasi untuk menangani pelanggaran kebijakan dan memberikan umpan balik yang akurat secara real-time: moderasi reaktif dan proaktif. Untuk moderasi reaktif, kami sedang mengembangkan model pembelajaran mesin (ML) untuk mengidentifikasi berbagai jenis pelanggaran kebijakan secara akurat, yang bekerja dengan merespons laporan dari pengguna di platform. Secara proaktif, kami sedang mengerjakan deteksi real-time terhadap konten potensial yang melanggar kebijakan kami, serta mendidik pengguna tentang perilaku mereka. Memahami ucapan dan meningkatkan kualitas audio adalah proses yang kompleks. Kami sudah melihat kemajuan, tetapi tujuan akhir kami adalah memiliki model yang sangat akurat yang dapat mendeteksi perilaku yang melanggar kebijakan secara real-time.

Apa saja pendekatan dan solusi inovatif yang kami gunakan untuk mengatasi tantangan teknis ini?

Kami telah mengembangkan model ML end-to-end yang dapat menganalisis data audio dan memberikan tingkat keyakinan berdasarkan jenis pelanggaran kebijakan (misalnya, seberapa besar kemungkinan ini merupakan perundungan, kata-kata kasar, dll.). Model ini telah secara signifikan meningkatkan kemampuan kami untuk secara otomatis menutup laporan tertentu. Kami mengambil tindakan ketika model kami yakin dan dapat dipastikan bahwa kinerjanya lebih baik daripada manusia. Hanya dalam beberapa bulan setelah peluncuran, kami mampu memoderasi hampir semua laporan pelecehan suara dalam bahasa Inggris dengan model ini. Kami telah mengembangkan model-model ini secara internal dan ini merupakan bukti kolaborasi antara banyak teknologi sumber terbuka dan kerja kami sendiri untuk menciptakan teknologi di baliknya.

Menentukan apa yang pantas secara real-time tampaknya cukup rumit. Bagaimana cara kerjanya?

Banyak pertimbangan yang dilakukan untuk membuat sistem ini peka terhadap konteks. Kami juga menganalisis pola seiring waktu sebelum mengambil tindakan agar dapat memastikan bahwa tindakan kami beralasan. Kebijakan kami bersifat nuansa tergantung pada usia seseorang, apakah mereka berada di ruang publik atau obrolan pribadi, dan banyak faktor lain. Kami sedang menjajaki cara baru untuk mempromosikan kesopanan secara real-time, dan ML berada di inti dari hal tersebut. Kami baru-baru ini meluncurkan notifikasi otomatis untuk mengingatkan pengguna tentang kebijakan kami. Kami juga meneliti faktor lain seperti nada suara untuk memahami niat seseorang dan membedakan hal-hal seperti sarkasme atau lelucon. Terakhir, kami sedang mengembangkan model multibahasa karena beberapa orang berbicara dalam beberapa bahasa atau bahkan berganti bahasa di tengah kalimat. Agar semua ini mungkin, kami harus memiliki model yang akurat.

Saat ini, kami berfokus pada penanganan bentuk-bentuk pelecehan yang paling menonjol, seperti pelecehan, diskriminasi, dan kata-kata kasar. Hal-hal ini merupakan mayoritas dari laporan pelecehan. Tujuan kami adalah memberikan dampak signifikan di bidang-bidang ini dan menetapkan standar industri mengenai bagaimana mempromosikan dan mempertahankan percakapan online yang sopan. Kami sangat antusias dengan potensi penggunaan ML secara real-time, karena hal ini memungkinkan kami untuk secara efektif menciptakan pengalaman yang aman dan sopan bagi semua orang.

Apa yang membuat tantangan yang kami selesaikan di Roblox unik? Apa yang dapat kami selesaikan terlebih dahulu?

Teknologi Chat with Spatial Voice kami menciptakan pengalaman yang lebih imersif, meniru komunikasi di dunia nyata. Misalnya, jika saya berdiri di sebelah kiri seseorang, mereka akan mendengar suara saya di telinga kiri mereka. Kami menciptakan analogi bagaimana komunikasi bekerja di dunia nyata, dan ini adalah tantangan yang kami mampu selesaikan terlebih dahulu.

Sebagai seorang gamer, saya telah menyaksikan banyak pelecehan dan perundungan dalam permainan online. Ini adalah masalah yang sering diabaikan karena anonimitas pengguna dan kurangnya konsekuensi. Namun, tantangan teknis yang kami hadapi seputar hal ini unik dibandingkan dengan apa yang dihadapi platform lain di beberapa area. Di beberapa platform permainan, interaksi terbatas pada rekan tim. Roblox menawarkan berbagai cara untuk bersosialisasi dalam lingkungan yang lebih mirip dengan kehidupan nyata. Dengan kemajuan dalam ML dan pemrosesan sinyal real-time, kami mampu mendeteksi dan menangani perilaku kasar secara efektif, yang berarti kami tidak hanya menyediakan lingkungan yang lebih realistis, tetapi juga tempat di mana semua orang merasa aman untuk berinteraksi dan terhubung dengan orang lain. Kombinasi antara teknologi kami, platform kami yang imersif, dan komitmen kami untuk mengedukasi pengguna tentang kebijakan kami menempatkan kami pada posisi yang tepat untuk mengatasi tantangan ini secara langsung.

Apa saja hal-hal penting yang telah Anda pelajari dari pekerjaan teknis ini?

Saya merasa telah belajar banyak. Saya bukan insinyur ML. Saya mostly bekerja di front end dalam industri game, jadi bisa memahami lebih dalam tentang cara kerja model-model ini sangat berarti. Harapan saya adalah tindakan yang kami ambil untuk mempromosikan kesopanan dapat menghasilkan tingkat empati di komunitas online yang selama ini kurang.

Satu pelajaran terakhir adalah bahwa segalanya bergantung pada data pelatihan yang digunakan. Dan agar data tersebut akurat, manusia harus sepakat mengenai label yang digunakan untuk mengkategorikan perilaku yang melanggar kebijakan. Sangat penting untuk melatih model menggunakan data berkualitas yang disepakati oleh semua pihak. Ini adalah masalah yang sangat sulit untuk diselesaikan. Anda mulai melihat bidang-bidang di mana ML jauh lebih maju daripada yang lain, dan kemudian bidang-bidang lain di mana ML masih dalam tahap awal. Masih ada banyak bidang di mana ML masih berkembang, jadi menyadari batasan-batasannya saat ini adalah kunci.

Nilai Roblox mana yang paling sesuai dengan tim Anda?

Menghormati komunitas adalah nilai panduan kami sepanjang proses ini. Pertama, kami perlu fokus pada peningkatan kesopanan dan pengurangan pelanggaran kebijakan di platform kami. Hal ini memiliki dampak signifikan terhadap pengalaman pengguna secara keseluruhan. Kedua, kami harus mempertimbangkan dengan cermat bagaimana kami meluncurkan fitur-fitur baru ini. Kami harus waspada terhadap false positive (misalnya, salah menandai sesuatu sebagai penyalahgunaan) dalam model dan menghindari pemberian sanksi yang tidak tepat kepada pengguna. Memantau kinerja model kami dan dampaknya terhadap keterlibatan pengguna sangatlah penting.

Apa yang paling membuat Anda bersemangat tentang arah Roblox dan tim Anda ke depan?

Kami telah membuat kemajuan signifikan dalam meningkatkan komunikasi suara publik, tetapi masih banyak yang harus dilakukan. Komunikasi pribadi adalah area yang menarik untuk dieksplorasi. Saya yakin ada peluang besar untuk meningkatkan komunikasi pribadi, memungkinkan pengguna mengekspresikan diri kepada teman dekat, melakukan panggilan suara melintasi pengalaman atau selama pengalaman saat berinteraksi dengan teman-teman mereka. Saya juga yakin ada peluang untuk memupuk komunitas-komunitas ini dengan alat yang lebih baik agar pengguna dapat mengatur diri sendiri, bergabung dengan komunitas, berbagi konten, dan berbagi ide.

Seiring pertumbuhan kami, bagaimana kami menskalakan teknologi obrolan kami untuk mendukung komunitas yang terus berkembang ini? Kami baru saja menggores permukaan dari banyak hal yang dapat kami lakukan, dan saya yakin ada peluang untuk meningkatkan kesopanan komunikasi dan kolaborasi online di seluruh industri dengan cara yang belum pernah dilakukan sebelumnya. Dengan teknologi dan kemampuan ML yang tepat, kami berada dalam posisi unik untuk membentuk masa depan komunikasi online yang sopan.