Por dentro da tecnologia - Garantindo a segurança na comunicação de voz imersiva
A evolução dos avatares do Roblox
Com Kiran Bhat, diretor sênior de engenharia, Mahesh Ramasubramanian, diretor sênior de produto, e Effie Goenawan, gerente principal de produto
O diretor sênior de engenharia Kiran Bhat, o diretor sênior de produto Mahesh Ramasubramanian e a gerente principal de produto Effie Goenawan se juntam ao CEO David Baszucki para uma análise do futuro da comunicação imersiva por meio de avatares e dos desafios técnicos que estamos resolvendo para viabilizá-la. Eles discutirão em profundidade como avatares expressivos não apenas nos permitem nos expressar digitalmente, mas também nos comunicarmos de forma mais imersiva por meio da voz, das expressões faciais e da linguagem corporal.
Quais são os maiores desafios técnicos que sua equipe está enfrentando?
Nossa prioridade é garantir uma experiência segura e positiva para nossos usuários. Segurança e civilidade estão sempre em primeiro lugar para nós, mas lidar com isso em tempo real pode ser um grande desafio técnico. Sempre que há um problema, queremos poder analisá-lo e tomar medidas em tempo real, mas isso é um desafio, dada a nossa escala. Para lidar com essa escala de forma eficaz, precisamos utilizar sistemas de segurança automatizados.
Outro desafio técnico no qual estamos focados é a precisão de nossas medidas de segurança para moderação. Existem duas abordagens de moderação para lidar com violações de política e fornecer feedback preciso em tempo real: moderação reativa e proativa. Para a moderação reativa, estamos desenvolvendo modelos de aprendizado de máquina (ML) para identificar com precisão diferentes tipos de violações de política, que funcionam respondendo a denúncias feitas por usuários na plataforma. De forma proativa, estamos trabalhando na detecção em tempo real de conteúdo potencialmente violador de nossas políticas, educando os usuários sobre seu comportamento. Compreender a linguagem falada e melhorar a qualidade do áudio é um processo complexo. Já estamos vendo progressos, mas nosso objetivo final é ter um modelo altamente preciso, capaz de detectar comportamentos que violam as políticas em tempo real.
Quais são algumas das abordagens e soluções inovadoras que estamos usando para enfrentar esses desafios técnicos?
Desenvolvemos um modelo de ML de ponta a ponta capaz de analisar dados de áudio e fornecer um nível de confiança com base no tipo de violação de política (por exemplo, qual é a probabilidade de se tratar de bullying, palavrões etc.). Esse modelo melhorou significativamente nossa capacidade de encerrar automaticamente certas denúncias. Tomamos medidas quando nosso modelo está confiante e podemos ter certeza de que ele supera o desempenho humano. Em apenas alguns meses após o lançamento, conseguimos moderar quase todas as denúncias de abuso de voz em inglês com esse modelo. Desenvolvemos esses modelos internamente, e isso é uma prova da colaboração entre muitas tecnologias de código aberto e nosso próprio trabalho para criar a tecnologia por trás disso.
Determinar o que é apropriado em tempo real parece bastante complexo. Como isso funciona?
Dedicamos muito esforço para tornar o sistema sensível ao contexto. Também analisamos padrões ao longo do tempo antes de agir, para termos certeza de que nossas ações são justificadas. Nossas políticas são diferenciadas dependendo da idade da pessoa, se ela está em um espaço público ou em um chat privado, e muitos outros fatores. Estamos explorando novas maneiras de promover a civilidade em tempo real, e o aprendizado de máquina está no centro disso. Recentemente, lançamos notificações automáticas para lembrar os usuários de nossas políticas. Também estamos analisando outros fatores, como o tom de voz, para entender melhor as intenções de uma pessoa e distinguir coisas como sarcasmo ou piadas. Por fim, também estamos desenvolvendo um modelo multilíngue, já que algumas pessoas falam vários idiomas ou até mesmo mudam de idioma no meio de uma frase. Para que tudo isso seja possível, precisamos ter um modelo preciso.
Atualmente, estamos focados em lidar com as formas mais proeminentes de abuso, como assédio, discriminação e palavrões. Essas constituem a maioria das denúncias de abuso. Nosso objetivo é causar um impacto significativo nessas áreas e definir as normas do setor sobre como deve ser a promoção e a manutenção de uma conversa online civilizada. Estamos entusiasmados com o potencial do uso do ML em tempo real, pois ele nos permite promover efetivamente uma experiência segura e civilizada para todos.
De que forma os desafios que estamos resolvendo na Roblox são únicos? O que estamos em posição de resolver primeiro?
Nosso Chat com tecnologia Spatial Voice cria uma experiência mais imersiva, imitando a comunicação do mundo real. Por exemplo, se eu estiver à esquerda de alguém, essa pessoa me ouvirá pelo ouvido esquerdo. Estamos criando um análogo de como a comunicação funciona no mundo real, e esse é um desafio que estamos em posição de resolver primeiro.
Como jogador, testemunhei muito assédio e bullying em jogos online. É um problema que muitas vezes passa despercebido devido ao anonimato dos usuários e à falta de consequências. No entanto, os desafios técnicos que estamos enfrentando em torno disso são únicos em relação ao que outras plataformas enfrentam em algumas áreas. Em algumas plataformas de jogos, as interações se limitam aos companheiros de equipe. O Roblox oferece diversas maneiras de interagir em um ambiente social que imita mais de perto a vida real. Com os avanços em ML e no processamento de sinais em tempo real, somos capazes de detectar e lidar efetivamente com comportamentos abusivos, o que significa que não somos apenas um ambiente mais realista, mas também um onde todos se sentem seguros para interagir e se conectar com outras pessoas. A combinação de nossa tecnologia, nossa plataforma imersiva e nosso compromisso em educar os usuários sobre nossas políticas nos coloca em posição de enfrentar esses desafios de frente.
Quais são algumas das principais coisas que você aprendeu ao realizar esse trabalho técnico?
Sinto que aprendi bastante. Não sou engenheiro de ML. Trabalhei principalmente na parte de front-end em jogos, então só o fato de poder me aprofundar mais do que antes em como esses modelos funcionam já foi muito importante. Minha esperança é que as ações que estamos tomando para promover a civilidade se traduzam em um nível de empatia na comunidade online que tem faltado.
Uma última lição é que tudo depende dos dados de treinamento que você insere. E para que os dados sejam precisos, os seres humanos precisam chegar a um consenso sobre os rótulos usados para categorizar certos comportamentos que violam as políticas. É realmente importante treinar com dados de qualidade com os quais todos possam concordar. É um problema muito difícil de resolver. Você começa a ver áreas em que o ML está muito à frente de tudo o mais e, em seguida, outras áreas em que ele ainda está nos estágios iniciais. Ainda há muitas áreas em que o ML está em crescimento, portanto, estar ciente de seus limites atuais é fundamental.
Com qual valor da Roblox sua equipe mais se identifica?
Respeitar a comunidade é o nosso valor orientador ao longo de todo esse processo. Primeiro, precisamos nos concentrar em melhorar a civilidade e reduzir as violações de política em nossa plataforma. Isso tem um impacto significativo na experiência geral do usuário. Em segundo lugar, devemos considerar cuidadosamente como lançaremos esses novos recursos. Precisamos estar atentos a falsos positivos (por exemplo, marcar incorretamente algo como abuso) no modelo e evitar penalizar usuários indevidamente. Monitorar o desempenho de nossos modelos e seu impacto no engajamento dos usuários é crucial.
O que mais te empolga em relação ao rumo que a Roblox e sua equipe estão tomando?
Fizemos um progresso significativo na melhoria da comunicação de voz pública, mas ainda há muito a ser feito. A comunicação privada é uma área empolgante a ser explorada. Acho que há uma enorme oportunidade de melhorar a comunicação privada, para permitir que os usuários se expressem com amigos próximos, façam chamadas de voz entre experiências ou durante uma experiência enquanto interagem com seus amigos. Acho que também há uma oportunidade de fomentar essas comunidades com ferramentas melhores para permitir que os usuários se auto-organizem, participem de comunidades, compartilhem conteúdo e troquem ideias.
À medida que continuamos a crescer, como podemos escalar nossa tecnologia de chat para dar suporte a essas comunidades em expansão? Estamos apenas arranhando a superfície do que podemos fazer, e acredito que há uma chance de melhorar a civilidade da comunicação e colaboração online em todo o setor de uma forma que nunca foi feita antes. Com a tecnologia certa e os recursos de ML, estamos em uma posição única para moldar o futuro da comunicação online civilizada.
