Inside the Tech - Oplossingen voor veiligheid in immersieve spraakcommunicatie

Wat zijn de grootste technische uitdagingen waar uw team mee te maken heeft?

Onze prioriteit is het waarborgen van een veilige en positieve ervaring voor onze gebruikers. Veiligheid en beleefdheid staan bij ons altijd voorop, maar het in realtime aanpakken hiervan kan een grote technische uitdaging zijn. Wanneer er zich een probleem voordoet, willen we dit kunnen beoordelen en in realtime actie ondernemen, maar gezien onze omvang is dit een uitdaging. Om deze omvang effectief aan te kunnen, moeten we gebruikmaken van geautomatiseerde veiligheidssystemen.

Een andere technische uitdaging waar we ons op richten, is de nauwkeurigheid van onze veiligheidsmaatregelen voor moderatie. Er zijn twee moderatiebenaderingen om beleidsschendingen aan te pakken en nauwkeurige feedback in realtime te geven: reactieve en proactieve moderatie. Voor reactieve moderatie ontwikkelen we machine learning (ML)-modellen om verschillende soorten beleidsschendingen nauwkeurig te identificeren, die werken door te reageren op meldingen van mensen op het platform. Proactief werken we aan realtime detectie van potentiële inhoud die ons beleid schendt, waarbij we gebruikers voorlichten over hun gedrag. Het begrijpen van gesproken taal en het verbeteren van de geluidskwaliteit is een complex proces. We zien al vooruitgang, maar ons uiteindelijke doel is een zeer nauwkeurig model te hebben dat gedrag dat in strijd is met ons beleid in realtime kan detecteren.

Wat zijn enkele van de innovatieve benaderingen en oplossingen die we gebruiken om deze technische uitdagingen aan te pakken?

We hebben een end-to-end ML-model ontwikkeld dat audiogegevens kan analyseren en een betrouwbaarheidsniveau biedt op basis van het type beleidsschending (bijv. hoe waarschijnlijk is dit pesten, grof taalgebruik, enz.). Dit model heeft ons vermogen om bepaalde meldingen automatisch af te sluiten aanzienlijk verbeterd. We ondernemen actie wanneer ons model zeker is en we er zeker van kunnen zijn dat het beter presteert dan mensen. Binnen slechts een paar maanden na de lancering waren we in staat om bijna alle Engelse meldingen van spraakmisbruik met dit model te modereren. We hebben deze modellen intern ontwikkeld en het is een bewijs van de samenwerking tussen veel open-source-technologieën en ons eigen werk om de technologie erachter te creëren.

In realtime bepalen wat gepast is, lijkt behoorlijk complex. Hoe werkt dat?

Er is veel aandacht besteed aan het contextbewust maken van het systeem. We kijken ook naar patronen in de loop van de tijd voordat we actie ondernemen, zodat we er zeker van kunnen zijn dat onze acties gerechtvaardigd zijn. Ons beleid is genuanceerd, afhankelijk van de leeftijd van een persoon, of deze zich in een openbare ruimte of een privéchat bevindt, en vele andere factoren. We verkennen nieuwe manieren om beleefdheid in realtime te bevorderen en ML vormt daar de kern van. We hebben onlangs geautomatiseerde pushmeldingen gelanceerd om gebruikers aan ons beleid te herinneren. We kijken ook naar andere factoren, zoals de toon van de stem, om de intenties van een persoon beter te begrijpen en zaken als sarcasme of grappen te onderscheiden. Ten slotte bouwen we ook aan een meertalig model, aangezien sommige mensen meerdere talen spreken of zelfs halverwege een zin van taal wisselen. Om dit allemaal mogelijk te maken, hebben we een nauwkeurig model nodig.

Momenteel richten we ons op de meest prominente vormen van misbruik, zoals intimidatie, discriminatie en grof taalgebruik. Deze vormen het grootste deel van de meldingen van misbruik. Ons doel is om op deze gebieden een aanzienlijke impact te hebben en de industrienormen vast te stellen voor hoe het bevorderen en handhaven van een beschaafd online gesprek eruitziet. We zijn enthousiast over het potentieel van het gebruik van ML in realtime, omdat het ons in staat stelt om effectief een veilige en beschaafde ervaring voor iedereen te bevorderen.

Wat maakt de uitdagingen die we bij Roblox aanpakken zo uniek? Wat kunnen we als eerste oplossen?

Onze Chat with Spatial Voice-technologie creëert een meer meeslepende ervaring, die de communicatie in de echte wereld nabootst. Als ik bijvoorbeeld links van iemand sta, horen ze me in hun linkeroor. We creëren een analogie met hoe communicatie in de echte wereld werkt en dit is een uitdaging die we als eerste kunnen oplossen.

Als gamer heb ik zelf veel pesterijen en intimidatie meegemaakt in online games. Het is een probleem dat vaak onopgemerkt blijft vanwege de anonimiteit van gebruikers en het ontbreken van consequenties. De technische uitdagingen die we hiermee aanpakken, zijn echter uniek ten opzichte van wat andere platforms op een aantal gebieden tegenkomen. Op sommige gamingplatforms zijn interacties beperkt tot teamgenoten. Roblox biedt een verscheidenheid aan manieren om samen te zijn in een sociale omgeving die het echte leven beter nabootst. Dankzij de vooruitgang op het gebied van ML en realtime signaalverwerking zijn we in staat om beledigend gedrag effectief op te sporen en aan te pakken. Dit betekent dat we niet alleen een meer realistische omgeving bieden, maar ook een omgeving waarin iedereen zich veilig voelt om met anderen te communiceren en contact te leggen. De combinatie van onze technologie, ons meeslepende platform en onze toewijding om gebruikers voor te lichten over ons beleid stelt ons in staat om deze uitdagingen rechtstreeks aan te pakken.

Wat zijn enkele van de belangrijkste dingen die je hebt geleerd door dit technische werk te doen?

Ik heb het gevoel dat ik heel veel heb geleerd. Ik ben geen ML-engineer. Ik heb vooral aan de front-end van games gewerkt, dus alleen al het feit dat ik me nu dieper heb kunnen verdiepen in hoe deze modellen werken, is enorm waardevol geweest. Ik hoop dat de maatregelen die we nemen om beleefdheid te bevorderen, leiden tot een mate van empathie in de online community die tot nu toe ontbrak.

Een laatste les is dat alles afhangt van de trainingsdata die je invoert. En om de data nauwkeurig te laten zijn, moeten mensen het eens zijn over de labels die worden gebruikt om bepaald beleidsovertredend gedrag te categoriseren. Het is echt belangrijk om te trainen op kwaliteitsdata waar iedereen het over eens kan zijn. Het is een heel moeilijk probleem om op te lossen. Je begint gebieden te zien waar ML ver voorloopt op al het andere, en dan weer andere gebieden waar het nog in de kinderschoenen staat. Er zijn nog veel gebieden waar ML zich nog ontwikkelt, dus het is essentieel om je bewust te zijn van de huidige beperkingen.

Met welke waarde van Roblox sluit jouw team het meest aan?

Respect voor de community is onze leidende waarde tijdens dit hele proces. Ten eerste moeten we ons richten op het verbeteren van de omgangsvormen en het verminderen van beleidsschendingen op ons platform. Dit heeft een aanzienlijke impact op de algehele gebruikerservaring. Ten tweede moeten we zorgvuldig overwegen hoe we deze nieuwe functies uitrollen. We moeten rekening houden met valse positieven (bijvoorbeeld iets ten onrechte als misbruik markeren) in het model en voorkomen dat we gebruikers ten onrechte straffen. Het is cruciaal om de prestaties van onze modellen en hun impact op de gebruikersbetrokkenheid te monitoren.

Wat vind je het meest spannend aan de richting die Roblox en je team inslaan?

We hebben aanzienlijke vooruitgang geboekt bij het verbeteren van openbare spraakcommunicatie, maar er is nog veel meer te doen. Privécommunicatie is een spannend gebied om te verkennen. Ik denk dat er een enorme kans ligt om privécommunicatie te verbeteren, zodat gebruikers zich kunnen uiten tegenover goede vrienden, en een spraakgesprek kunnen voeren tussen ervaringen door of tijdens een ervaring terwijl ze met hun vrienden communiceren. Ik denk dat er ook een kans ligt om deze gemeenschappen te versterken met betere tools waarmee gebruikers zichzelf kunnen organiseren, lid kunnen worden van gemeenschappen, content kunnen delen en ideeën kunnen uitwisselen.

Hoe kunnen we, naarmate we blijven groeien, onze chattechnologie opschalen om deze groeiende gemeenschappen te ondersteunen? We staan nog maar aan het begin van wat we allemaal kunnen doen, en ik denk dat er een kans is om de beleefdheid van online communicatie en samenwerking in de hele sector te verbeteren op een manier die nog niet eerder is gedaan. Met de juiste technologie en ML-mogelijkheden bevinden we ons in een unieke positie om de toekomst van beleefde online communicatie vorm te geven.