Inside the Tech – Soluciones para la búsqueda multilingüe y semántica

¿Cuál es el mayor reto técnico al que se enfrenta tu equipo?

Hasta hace aproximadamente un año, la búsqueda de Roblox utilizaba un sistema léxico para hacer coincidir los resultados con las búsquedas de los usuarios, lo que significa que se centraba únicamente en la coincidencia de texto. Pero los comportamientos de búsqueda están cambiando rápidamente y ese enfoque ya no es suficiente para ofrecer a los usuarios contenido relevante. Al mismo tiempo, algunos usuarios de Roblox pueden utilizar una ortografía incorrecta en sus consultas. Por lo tanto, tenemos que ser capaces de sugerir resultados que coincidan con lo que están buscando, lo que significa comprender su intención.

Otro problema importante en la búsqueda es la falta de datos de entrenamiento en todos los idiomas. Antes de la búsqueda semántica, nuestro primer paso era aprovechar las traducciones automáticas dentro del sistema de Roblox. Indexábamos las traducciones y luego realizábamos una coincidencia de texto. Pero eso no es suficiente para mostrar siempre a los usuarios contenido relevante. Por eso, hemos adoptado una técnica de aprendizaje automático más avanzada llamada modelo «alumno-profesor»: el profesor aprende de nuestra mayor fuente de contexto para cualquier escenario específico. 

El inglés es el idioma más utilizado en Roblox, por lo que aprendemos tantas relaciones semánticas como podemos en inglés —el modelo «profesor»— y luego lo trasladamos al modelo «alumno» extendiéndolo a otros idiomas. Esto nos ayuda a resolver ese problema aunque no dispongamos de muchos datos en determinados idiomas. Esto ha dado lugar a un aumento del 15 % en las partidas originadas a partir de la búsqueda en Japón. 

Recientemente hemos estado trabajando para mejorar el soporte de nuestras consultas de catálogo como «đua xe (carreras)». Pero los usuarios envían con mayor frecuencia consultas largas y de formato libre, como: «Oye, recuerdo haber jugado a un juego en el que había un dragón y una chica luchando contra él. ¿Me puedes ayudar a encontrarlo?». Esto plantea más retos técnicos y seguimos mejorando nuestros sistemas en esta línea.

¿Cuáles son algunos de los enfoques innovadores para incorporar más contexto y una búsqueda más semántica?

Hemos creado un sistema de búsqueda híbrido que combina la búsqueda léxica con técnicas y modelos de aprendizaje automático (ML) que utilizan la búsqueda semántica y la comprensión de la intención de la consulta. Estamos evolucionando continuamente nuestros sistemas para desarrollar la comprensión del contexto, gestionar consultas complejas y ofrecer contenido relevante.

La magia de la búsqueda semántica reside en las incrustaciones, que son representaciones ricas de una variedad de señales que obtenemos de todo Roblox. Por ejemplo, estamos incorporando señales como los datos demográficos de los usuarios, la consulta de un usuario, su duración o cuáles son sus aspectos únicos. 

También tenemos en cuenta señales de contenido, como experiencias, elementos de avatar y la interacción: ¿con qué frecuencia se jugó a este juego, cuántos usuarios tuvo y de cuántos países? También hay aspectos como la monetización y la retención, así como metadatos como el título, la descripción o el creador de una experiencia. Sometemos todo esto a una arquitectura basada en BERT y en transformadores, y utilizamos un perceptrón multicapa al final para generar incrustaciones, que se convierten en nuestra fuente de verdad. 

Otra innovación es nuestro sistema interno de búsqueda por similitud. Cuando alguien realiza una consulta de búsqueda, recuperamos las incrustaciones estrechamente relacionadas y las clasificamos para asegurarnos de que sean relevantes para lo que el usuario está buscando. Y luego devolvemos los resultados a los usuarios.

¿Cuáles son algunas de las cosas clave que has aprendido al realizar este trabajo técnico?

Cada idioma presenta sus propios retos. Y, especialmente en el caso de la búsqueda, necesitamos comprender qué buscan los usuarios de diferentes partes del mundo para poder mostrarles los resultados más relevantes. Tenemos que comprender los diferentes elementos del lenguaje. Por ejemplo, los transformadores preentrenados han sido esenciales para comprender los múltiples dialectos del japonés.

En segundo lugar, los patrones de las consultas de búsqueda han cambiado bastante y tenemos que evolucionar continuamente nuestra pila tecnológica para mantenernos al día. Al mismo tiempo, necesitamos informar a nuestros usuarios sobre lo que es posible en nuestra plataforma, ya que es posible que no se den cuenta. Por ejemplo, podríamos decirles a nuestros usuarios que la búsqueda admite cosas como consultas de estilo libre (como juegos de carreras o juegos de comida populares) y que entiende lo que la gente busca y puede devolver resultados adecuados. 

¿Con qué valor de Roblox se identifica más tu equipo?

Adoptar una visión a largo plazo es fundamental para nuestro equipo y es una de las razones por las que me encanta trabajar en Roblox.

Un ejemplo de mi equipo es nuestra pila tecnológica, que consiste en nuestros sistemas de búsqueda basados en ML y NLP: búsqueda semántica, autocompletado y corrección ortográfica utilizando grandes modelos preentrenados.

Lo hemos creado pensando en la reutilización en los diferentes tipos de búsquedas que realizan nuestras decenas de millones de usuarios activos diarios. Eso significa que podemos introducir un tipo diferente de datos (por ejemplo, artículos de avatar en lugar de experiencias) y debería funcionar con cambios mínimos. 

Hemos incorporado la búsqueda semántica para experiencias y la hemos compartido con otros sectores verticales, como Marketplace, y ellos han podido incorporarse directamente a la arquitectura existente. No es totalmente «plug-and-play», pero con algunos ajustes podemos adaptarla a diferentes casos de uso.

¿Qué es lo que más te entusiasma del rumbo que están tomando Roblox y tu equipo?

La búsqueda es la única superficie en la que los usuarios expresan su intención explícita. Y eso significa que es esencial que entendamos lo que quieren y les ofrezcamos los resultados más relevantes. Así que me resulta muy emocionante trabajar en comprender esa intención y educar a nuestros usuarios sobre lo que es posible, a veces incluso antes de que el usuario se dé cuenta. 

Un usuario de cualquier país puede preguntar algo y nosotros podemos ofrecerle exactamente lo que quiere y lo que es más relevante para él. Esto genera confianza, lo que, a su vez, mejora la retención. Me entusiasma asumir el reto de mejorar la búsqueda para generar esa confianza y ayudar a Roblox a alcanzar nuestro objetivo de llegar a los mil millones de usuarios.