Repensar el chat para la diversión, el juego y la cortesía

• Un chat natural y fluido es fundamental en los juegos en los que participan equipos o comunidades. 
• Las cadenas de ##### que aparecen cuando se bloquea el lenguaje inapropiado pueden entorpecer el chat, dificultar su seguimiento e interrumpir el juego.
• Para ayudar a que el chat fluya y sea respetuoso, estamos mejorando nuestros filtros de chat y reformulando las palabrotas con palabras que se ajusten a nuestras directrices.
• Este es el primer paso en nuestro camino a largo plazo para reducir los ##### y lograr una experiencia de chat más natural. Seguiremos aprendiendo, iterando y desarrollando nuestras herramientas para ayudar a mantener un chat seguro y respetuoso, incluyendo controles adicionales para los usuarios.

Cada día, millones de personas se conectan y juegan en Roblox, donde la comunicación en tiempo real es importante para la expresión de los usuarios y la coordinación del juego. El uso de filtros de IA para bloquear texto problemático (visible para los usuarios como #####) siempre ha sido fundamental en nuestro enfoque de la seguridad y el fomento de la cortesía. Estos símbolos de almohadilla se generan en tiempo real y ayudan a los usuarios a comprender cuándo algo de lo que escriben no está permitido. Por supuesto, cuando los usuarios infringen las normas repetidamente, se enfrentarán a consecuencias que van más allá de que sus palabras aparezcan como ###.

En mayo de 2025, introdujimos advertencias proactivas en tiempo real para ayudar a los usuarios a comprender nuestras políticas. Estas ya están activas tanto para el chat de texto como para el de voz. Estas notificaciones indican a los usuarios cuándo han infringido una norma, les invitan a reconsiderar su lenguaje la próxima vez y les ayudan a convertirse en mejores ciudadanos digitales. En experimentos realizados el año pasado, observamos que enviar notificaciones en el chat de texto de la experiencia y aplicar tiempos de espera dio lugar a una reducción del 5 % en los mensajes de chat filtrados y a una reducción del 6 % en las consecuencias derivadas de las denuncias por abuso.

Hoy añadimos una función adicional para ayudar a mantener un tono respetuoso en el chat de texto dentro de la experiencia: estamos utilizando la IA para reformular automáticamente los mensajes, empezando por las palabrotas. A medida que estos sistemas se amplían, crean un efecto multiplicador para el respeto, en el que la retroalimentación en tiempo real ayuda a los usuarios a aprender y adoptar nuestras Normas de la comunidad. Todos los usuarios, no solo el remitente del mensaje, ven qué lenguaje está permitido en Roblox (y el remitente ve lo que no está permitido). Esto proporciona más información a los usuarios que quizá no conozcan las normas y se suma a nuestra base de filtrado y advertencias en tiempo real para ayudar a fomentar una conversación segura, respetuosa y divertida en Roblox. 

Reformulación del chat en tiempo real: pasar de las señales de stop a la orientación

Para muchos usuarios, una cadena de ##### puede suponer un callejón sin salida en la conversación, sin ninguna orientación sobre cómo replantearse su lenguaje para cumplir con nuestras Normas de la comunidad. Esto a menudo puede causar confusión y dificultar la colaboración entre los equipos dentro de un juego. Imagina que alguien intenta decirle a su amigo que hay un monstruo detrás de él y escribe algo como «¡Cuidado! ¡Hay un puto monstruo en tu ahhh!» para avisarle. El amigo solo ve «###########». Eso no es de mucha ayuda. 

A partir de hoy, el texto filtrado se traducirá a un lenguaje más respetuoso que siga sonando natural para los usuarios de Roblox. En el momento del lanzamiento, esta reformulación en tiempo real se centra en las palabrotas. Por ejemplo, «¡Date prisa, joder!» podría convertirse en «¡Date prisa!», lo cual se acerca mucho más a la intención original que #####. Para que quede claro: cuando reformulamos un mensaje que incumple nuestra política sobre lenguaje soez, sigue siendo una infracción y se aplican las mismas normas. Un usuario que siga intentando decir palabrotas en el chat seguirá enfrentándose a las mismas consecuencias por infringir repetidamente nuestra política. 

Piensa en este sistema como un volante, en lugar de una señal de stop: si un mensaje incumple nuestra política, se notifica a todos los participantes en el chat que el texto se ha reformulado para mantener un tono civilizado. Al asociar las palabras restringidas con las expresiones que los usuarios utilizan realmente en el chat diario, ayudamos a mantener un chat respetuoso sin perder la autenticidad ni la fluidez. Al sustituir estas señales de stop por una orientación en tiempo real, podemos reducir parte de esa fricción y, al mismo tiempo, reforzar nuestras normas contra las palabrotas.

Aún estamos en una fase inicial en lo que respecta a reformular y proporcionar más contexto a los usuarios cuando se bloquea un texto. Con el tiempo, al igual que cualquier herramienta de traducción con IA, se volverá cada vez más precisa y matizada a la hora de preservar el tono o el contexto original del usuario. Nuestra prioridad sigue siendo crear una forma segura y respetuosa de comunicarse en Roblox que continúe dando prioridad a informar, educar y orientar a nuestros usuarios a medida que aprenden nuestras normas. 

Aunque la reformulación reduce parte de las interrupciones en el chat, nuestro sistema de seguridad de múltiples capas sigue vigente para comportamientos más graves. La reformulación está disponible exclusivamente para el chat dentro de la experiencia, que solo está disponible entre usuarios cuya edad ha sido verificada y que pertenecen a grupos de edad similares, así como para sus Conexiones de Confianza. Las reformulaciones son compatibles con todos los idiomas disponibles actualmente a través de nuestras herramientas de traducción automática. Nuestro objetivo es alcanzar un nivel de precisión que nos permita reducir el uso de «###» hasta que podamos eliminarlo por completo, haciendo que la comunicación digital sea tan natural y clara como una conversación en persona.

Mientras desarrollábamos esta función, consultamos a los miembros de nuestro Consejo de Adolescentes para crear un sistema que reflejara cómo chatean realmente los adolescentes. Sofía, miembro del Consejo, nos dijo: «Pasar a la reformulación en tiempo real preserva el flujo de la conversación al tiempo que ayuda a mantener la seguridad de todos. Guía suavemente la interacción para que vuelva a encarrilarse y ayuda a que las personas se sientan bienvenidas». 

Jordyn, miembro del Consejo de Adolescentes, está de acuerdo. «Este cambio enseña a los jugadores a reflexionar sobre cómo se comunican y refuerza la interacción al fomentar conexiones amistosas», dijo Jordyn. «Al pasar a la reformulación, se logra un término medio entre las peticiones de los jugadores y las normas de seguridad necesarias».  

Filtros de texto mejorados: de los patrones al contexto

Nuestras funciones de seguridad evolucionan continuamente para adaptarse a la forma en que los usuarios chatean en Roblox. Nuestros filtros de texto están entrenados para detectar y bloquear cualquier contenido que vaya en contra de nuestras Normas de la comunidad. Esto debe suceder a escala global y en tiempo real, mientras los usuarios chatean.

Inicialmente, este sistema tenía dos componentes: 1) Un sistema basado en reglas diseñado para detectar y bloquear contenido que incumpla nuestras normas en cuestión de minutos cuando se producen eventos en el mundo real. 2) Un conjunto de modelos especializados entrenados a partir de un modelo más amplio, basado en un conjunto de muestras simuladas y reales que se actualizan continuamente para incluir tipos de lenguaje en evolución. 

Estos modelos especializados son muy buenos en tareas específicas, como encontrar una lista de palabras que no permitimos, pero no razonan muy bien, por lo que no son buenos para detectar términos que están evolucionando. Los modelos extremadamente grandes no funcionan en tiempo real, y las alucinaciones (o clasificaciones erróneas) a menudo aumentan los falsos positivos. 

En esta actualización, hemos introducido un nuevo y tercer componente en nuestro sistema de filtrado de texto. Ahora, cuando los modelos especializados no están seguros de si algo incumple las normas o no, se envían a modelos muy grandes que son mejores a la hora de razonar y evaluar más contexto. Estos modelos grandes pueden tomar decisiones más complejas. 

Nuestros experimentos muestran que este enfoque combinado ha mejorado significativamente nuestros filtros. Ahora los filtros detectan mejor el «leet-speak» (letras sustituidas por números o símbolos) y los intentos más sofisticados de eludir nuestros filtros. Ningún sistema es perfecto, pero nos alegra que esta innovación más reciente nos haya permitido reducir en 20 veces la prevalencia de falsos negativos en el intercambio o la solicitud de información personal, como nombres de usuario en redes sociales o números de teléfono.

Se trata de un enfoque nuevo y audaz, y no siempre reformularemos las cosas a la perfección. Pero seguiremos aprendiendo y experimentando a medida que avancemos, y continuaremos reduciendo el número de ##### que los usuarios ven en sus chats, con el objetivo a largo plazo de eliminarlos por completo. Nuestro objetivo final es empoderar a los usuarios para que colaboren y se conecten de una manera que sea a la vez divertida y respetuosa.