Por que nos tornarmos parceiros fundadores de uma nova iniciativa de código aberto é fundamental para nossa abordagem à segurança online

• A IA tornou-se fundamental para a forma como abordamos a segurança na Roblox, e aplicamos nossos modelos a comunicações de texto e voz, imagens, modelos 3D e malhas.
• Promover a segurança dos usuários, especialmente dos mais jovens, sempre foi nossa principal prioridade, e é por isso que continuamos a investir e aprimorar nossos sistemas de segurança. 
• Contribuir com a comunidade de código aberto é importante para nós. E estamos expandindo nossa posição de liderança em tecnologia de segurança ao nos tornarmos um parceiro fundador da ROOST, uma nova organização sem fins lucrativos dedicada a abordar áreas importantes da segurança digital por meio da promoção de ferramentas de segurança de código aberto.
• Também estamos disponibilizando em código aberto uma nova versão do nosso modelo classificador de segurança de voz (um modelo com 94 milhões de parâmetros que processa até 400.000 horas de fala ativa diariamente em nossa plataforma), e planejamos lançar modelos de IA de segurança de código aberto adicionais no futuro.

Promover a segurança e a civilidade tem sido fundamental para a Roblox desde nossa fundação, há quase duas décadas. Projetar sistemas para promover a segurança de todos é um grande esforço, especialmente em nossa escala global e com todos os diferentes tipos de conteúdo que oferecemos. É por isso que investimos fortemente em infraestrutura, IA e pessoas. Com centenas de modelos em produção, quase todas as interações na Roblox são impulsionadas de alguma forma pela IA.

No quarto trimestre de 2024, nossos usuários enviaram mais de 300 bilhões de itens de conteúdo, incluindo vídeo, áudio, texto, chat de voz, avatares e experiências 3D. No entanto, apenas 0,01% desse conteúdo foi detectado como violador de nossas políticas, e a maior parte dele não foi vista pelos usuários porque foi moderada de forma proativa. Também desenvolvemos uma IA fundamental de alto desempenho para manter segura toda a nossa gama de conteúdos e modalidades de comunicação. Esses modelos processam mais de 4 bilhões de mensagens de texto por dia com apenas milissegundos de latência, além de milhões de horas de voz e itens de conteúdo. Estamos comprometidos em detectar conteúdo inadequado e tomar decisões de moderação em grande escala.

A segurança é algo que transcende a Roblox. Embora possamos ajudar a proteger nossos usuários quando estão em nossa plataforma, temos poder limitado para fazê-lo quando eles não estão na Roblox. De fato, empresas de internet em todo o mundo enfrentam esses desafios quando seus usuários migram de uma plataforma para outra. Assim, ao longo dos anos, assumimos um papel de liderança na promoção de práticas de segurança e civilidade online ao nos associarmos a organizações como o Family Online Safety Institute e a Tech Coalition.

Agora, temos orgulho de expandir nossa posição de liderança em segurança online ao nos tornarmos um parceiro fundador — juntamente com o Google, a OpenAI, o Discord e outros — da ROOST (Robust Open Online Safety Tools). Essa nova organização sem fins lucrativos se dedica a abordar áreas importantes da segurança digital — especialmente a segurança infantil online — por meio da criação de ferramentas de segurança escaláveis, interoperáveis e resilientes, adequadas para a era da IA.

A ROOST desenvolverá, manterá e distribuirá recursos de segurança de código aberto gratuitos que organizações públicas e privadas de todos os tamanhos — muitas das quais não têm acesso a tecnologia básica de segurança — possam empregar para aprimorar seus sistemas e manter seus usuários seguros. Isso permitirá que elas concentrem mais suas energias no crescimento de seus negócios. 

Estamos entusiasmados em ajudar a reforçar a segurança na internet e, para isso, também seremos copresidentes do comitê consultivo de tecnologia da ROOST. Isso nos dará a oportunidade de compartilhar o que aprendemos e de informar e apoiar o trabalho e a estratégia técnica da organização.

Tornar-nos parceiros fundadores da ROOST nos permite contar com a expertise em modelagem de aprendizado de máquina da comunidade ROOST para aprimorar as técnicas de segurança que usamos e compartilhamos. Isso é empolgante porque a ROOST está trabalhando em três áreas centrais de segurança online que são essenciais para a Roblox e outras plataformas online. Isso inclui:

• Melhorar a segurança infantil, incluindo o desenvolvimento de classificadores mais robustos de material de abuso sexual infantil (CSAM)
• Construir uma infraestrutura de segurança melhor, como consoles de revisão, mecanismos heurísticos e a coleta e curadoria de mais exemplos de treinamento, amostragem estatística, rotulagem e treinamento de pessoas nesses casos de uso 
• Criação de proteções de conteúdo baseadas em modelos de linguagem de grande porte (LLM) que utilizam IA para revisar e treinar moderadores para fazer cumprir as políticas

“Ter um líder global em segurança online como a Roblox se juntando à ROOST como parceiro fundador é uma grande oportunidade para nós”, disse Eli Sugarman, vice-presidente do conselho da ROOST. “Com seu compromisso comprovado com a segurança de código aberto, a Roblox está em uma ótima posição para compartilhar sua abordagem inovadora para ajudar a proteger toda a comunidade online.”

Este é um grande momento para toda a comunidade online, e nosso trabalho com ferramentas de código aberto é um elemento importante disso. Acreditamos que a IA é uma tecnologia que deve ser construída com base na transparência e na abertura, e estamos comprometidos em ser um parceiro forte na comunidade de IA de código aberto.   

Contribuindo com tecnologia para a comunidade de código aberto

Ser um parceiro fundador da ROOST vai de mãos dadas com nossa abordagem de contribuir com tecnologia para a comunidade de código aberto. Esta é uma jornada que começamos no ano passado, quando tornamos nosso modelo classificador de segurança de voz de código aberto, capaz de detectar violações de política com mais precisão do que moderadores humanos em uma escala de milhões de minutos de atividade de voz por dia. Desde então, ele já foi baixado quase 22.000 vezes.

Agora temos uma versão atualizada desse modelo em produção que lida com sete novos idiomas — espanhol, alemão, francês, português, italiano, coreano e japonês — e aplica novas técnicas que tornam o modelo mais eficaz. Isso inclui uma arquitetura de treinamento curricular para o ajuste fino de rótulos humanos, a expansão de categorias de abuso e a adição de camadas mais eficientes de extração de características e redução de tempo. Planejamos disponibilizar a nova versão do modelo como código aberto até o final do primeiro trimestre de 2025. Olhando para o futuro, também planejamos disponibilizar como código aberto modelos de classificação para outras modalidades ainda este ano.

Disponibilizar nossas ferramentas como código aberto faz parte da nossa identidade, tanto em relação ao nosso trabalho de segurança quanto à criação. No ano passado, por exemplo, lançamos nosso Modelo Fundamental 3D, que ajudará os criadores a integrar diversos tipos de ferramentas de geração automática em suas experiências.

Estamos entusiasmados por sermos um parceiro fundador da comunidade ROOST e pretendemos colaborar com outros líderes na área e contribuir com tudo o que pudermos para tornar a internet um lugar mais seguro.