Inside the Tech - Soluciones para la seguridad en la comunicación de voz inmersiva

¿Cuáles son los mayores retos técnicos a los que se enfrenta tu equipo?

Nuestra prioridad es garantizar una experiencia segura y positiva para nuestros usuarios. La seguridad y el respeto son siempre nuestra principal preocupación, pero gestionarlas en tiempo real puede suponer un gran reto técnico. Cada vez que surge un problema, queremos poder revisarlo y tomar medidas en tiempo real, pero esto resulta complicado dada nuestra envergadura. Para gestionar esta escala de forma eficaz, necesitamos aprovechar los sistemas de seguridad automatizados.

Otro reto técnico en el que nos centramos es la precisión de nuestras medidas de seguridad para la moderación. Existen dos enfoques de moderación para abordar las infracciones de las políticas y proporcionar comentarios precisos en tiempo real: la moderación reactiva y la proactiva. Para la moderación reactiva, estamos desarrollando modelos de aprendizaje automático (ML) que identifiquen con precisión los diferentes tipos de infracciones de las políticas, y que funcionan respondiendo a las denuncias de los usuarios de la plataforma. De forma proactiva, estamos trabajando en la detección en tiempo real de contenido que pueda infringir nuestras políticas, educando a los usuarios sobre su comportamiento. Comprender el lenguaje hablado y mejorar la calidad del audio es un proceso complejo. Ya estamos viendo avances, pero nuestro objetivo final es contar con un modelo de alta precisión capaz de detectar comportamientos que infrinjan las políticas en tiempo real.

¿Cuáles son algunos de los enfoques y soluciones innovadores que estamos utilizando para abordar estos retos técnicos?

Hemos desarrollado un modelo de aprendizaje automático de extremo a extremo capaz de analizar datos de audio y proporcionar un nivel de confianza basado en el tipo de infracción de las políticas (por ejemplo, qué probabilidad hay de que se trate de acoso, lenguaje soez, etc.). Este modelo ha mejorado significativamente nuestra capacidad para cerrar automáticamente ciertas denuncias. Tomamos medidas cuando nuestro modelo tiene confianza y podemos estar seguros de que supera a los humanos. A los pocos meses de su lanzamiento, pudimos moderar casi todas las denuncias de abuso verbal en inglés con este modelo. Hemos desarrollado estos modelos internamente y es un testimonio de la colaboración entre muchas tecnologías de código abierto y nuestro propio trabajo para crear la tecnología que hay detrás.

Determinar qué es apropiado en tiempo real parece bastante complejo. ¿Cómo funciona eso?

Se ha dedicado mucho esfuerzo a hacer que el sistema sea sensible al contexto. También analizamos los patrones a lo largo del tiempo antes de actuar, para asegurarnos de que nuestras medidas están justificadas. Nuestras políticas se matizan en función de la edad de la persona, de si se encuentra en un espacio público o en un chat privado, y de muchos otros factores. Estamos explorando nuevas formas de promover el civismo en tiempo real, y el aprendizaje automático (ML) es la pieza clave. Recientemente hemos lanzado notificaciones automáticas para recordar a los usuarios nuestras políticas. También estamos analizando otros factores, como el tono de voz, para comprender mejor las intenciones de una persona y distinguir cosas como el sarcasmo o las bromas. Por último, también estamos desarrollando un modelo multilingüe, ya que algunas personas hablan varios idiomas o incluso cambian de idioma en mitad de una frase. Para que todo esto sea posible, necesitamos un modelo preciso.

Actualmente, nos centramos en abordar las formas más destacadas de abuso, como el acoso, la discriminación y el lenguaje soez. Estas constituyen la mayoría de las denuncias de abuso. Nuestro objetivo es tener un impacto significativo en estas áreas y establecer las normas del sector sobre cómo debe ser la promoción y el mantenimiento de una conversación en línea respetuosa. Nos entusiasma el potencial del uso del aprendizaje automático en tiempo real, ya que nos permite fomentar de manera efectiva una experiencia segura y respetuosa para todos.

¿En qué se diferencian los retos que estamos resolviendo en Roblox? ¿Qué podemos resolver primero?

Nuestra tecnología «Chat with Spatial Voice» crea una experiencia más inmersiva, imitando la comunicación del mundo real. Por ejemplo, si estoy de pie a la izquierda de alguien, me oirá por su oído izquierdo. Estamos creando un análogo de cómo funciona la comunicación en el mundo real y este es un reto que estamos en condiciones de resolver primero.

Como jugador, he sido testigo de mucho acoso e intimidación en los juegos online. Es un problema que a menudo pasa desapercibido debido al anonimato de los usuarios y a la falta de consecuencias. Sin embargo, los retos técnicos a los que nos enfrentamos en este ámbito son únicos en comparación con los que se plantean otras plataformas en algunos aspectos. En algunas plataformas de juego, las interacciones se limitan a los compañeros de equipo. Roblox ofrece diversas formas de relacionarse en un entorno social que imita más fielmente la vida real. Gracias a los avances en el aprendizaje automático y el procesamiento de señales en tiempo real, somos capaces de detectar y abordar eficazmente los comportamientos abusivos, lo que significa que no solo somos un entorno más realista, sino también uno en el que todos se sienten seguros para interactuar y conectar con los demás. La combinación de nuestra tecnología, nuestra plataforma inmersiva y nuestro compromiso con la educación de los usuarios sobre nuestras políticas nos coloca en una posición para abordar estos retos de frente.

¿Cuáles son algunas de las cosas clave que has aprendido al realizar este trabajo técnico?

Siento que he aprendido muchísimo. No soy ingeniero de aprendizaje automático. He trabajado principalmente en el front-end de los videojuegos, así que el simple hecho de poder profundizar más de lo que lo había hecho hasta ahora en cómo funcionan estos modelos ha sido muy valioso. Mi esperanza es que las medidas que estamos tomando para promover la cortesía se traduzcan en un nivel de empatía en la comunidad online que hasta ahora ha faltado.

Una última lección es que todo depende de los datos de entrenamiento que se introduzcan. Y para que los datos sean precisos, los humanos tienen que ponerse de acuerdo sobre las etiquetas que se utilizan para categorizar ciertos comportamientos que violan las políticas. Es realmente importante entrenar con datos de calidad en los que todos puedan estar de acuerdo. Es un problema muy difícil de resolver. Empiezas a ver áreas en las que el aprendizaje automático está muy por delante de todo lo demás, y luego otras en las que aún se encuentra en una fase inicial. Todavía hay muchas áreas en las que el aprendizaje automático sigue creciendo, por lo que es fundamental ser consciente de sus límites actuales.

¿Con qué valor de Roblox se identifica más tu equipo?

El respeto a la comunidad es nuestro valor rector a lo largo de todo este proceso. En primer lugar, debemos centrarnos en mejorar el civismo y reducir las infracciones de las políticas en nuestra plataforma. Esto tiene un impacto significativo en la experiencia general del usuario. En segundo lugar, debemos considerar cuidadosamente cómo implementamos estas nuevas funciones. Tenemos que ser conscientes de los falsos positivos (por ejemplo, marcar incorrectamente algo como abuso) en el modelo y evitar penalizar erróneamente a los usuarios. Es crucial supervisar el rendimiento de nuestros modelos y su impacto en la participación de los usuarios.

¿Qué es lo que más te entusiasma del rumbo que están tomando Roblox y tu equipo?

Hemos logrado avances significativos en la mejora de la comunicación de voz pública, pero aún queda mucho por hacer. La comunicación privada es un área apasionante por explorar. Creo que hay una gran oportunidad para mejorar la comunicación privada, para permitir a los usuarios expresarse ante sus amigos más cercanos, para mantener una llamada de voz entre experiencias o durante una experiencia mientras interactúan con sus amigos. Creo que también hay una oportunidad para fomentar estas comunidades con mejores herramientas que permitan a los usuarios autoorganizarse, unirse a comunidades, compartir contenido e intercambiar ideas.

A medida que seguimos creciendo, ¿cómo ampliamos nuestra tecnología de chat para dar soporte a estas comunidades en expansión? Apenas estamos rascando la superficie de todo lo que podemos hacer, y creo que existe la oportunidad de mejorar la cortesía de la comunicación y la colaboración en línea en todo el sector de una forma que no se ha hecho antes. Con la tecnología adecuada y las capacidades de aprendizaje automático, nos encontramos en una posición única para dar forma al futuro de la comunicación en línea respetuosa.