Chat heroverwegen voor plezier, gameplay en beleefdheid

• Een natuurlijke, vloeiende chat is essentieel voor games waarin teams of communities samen spelen. 
• Reeksen ##### op plaatsen waar ongepast taalgebruik is geblokkeerd, kunnen de chat verstoren, moeilijk te volgen zijn en het spel onderbreken.
• Om de chat vloeiend en respectvol te houden, verbeteren we onze chatfilters en herformuleren we grof taalgebruik naar woorden die binnen onze richtlijnen vallen.
• Dit is de eerste stap op onze langetermijnroute om ##### te verminderen voor een natuurlijkere chat-ervaring. We blijven leren, itereren en onze tools verder ontwikkelen om veilige en beschaafde chat te ondersteunen, inclusief extra controles voor gebruikers.

Elke dag komen miljoenen mensen samen en spelen ze op Roblox, waar realtime communicatie belangrijk is voor de expressie van gebruikers en het coördineren van gameplay. Het gebruik van AI-filters om problematische tekst te blokkeren (voor gebruikers zichtbaar als #####) heeft altijd centraal gestaan in onze aanpak van veiligheid en het bevorderen van beleefdheid. Deze hekjes worden in realtime gegenereerd en helpen gebruikers te begrijpen wanneer iets wat ze typen niet is toegestaan. Natuurlijk zullen gebruikers die herhaaldelijk de regels overtreden, te maken krijgen met consequenties die verder gaan dan het vervangen van hun woorden door ###.

In mei 2025 hebben we proactieve, realtime waarschuwingen geïntroduceerd om gebruikers te helpen ons beleid te begrijpen. Deze zijn nu actief voor zowel tekst- als spraakchat. Deze meldingen laten gebruikers weten wanneer ze een regel hebben overtreden, vragen hen om de volgende keer hun taalgebruik te heroverwegen en helpen hen betere digitale burgers te worden. Uit experimenten vorig jaar bleek dat het versturen van tekstchatmeldingen en time-outs binnen de ervaring leidde tot een afname van 5% in gefilterde chatberichten en een afname van 6% in de gevolgen van meldingen van misbruik.

Vandaag voegen we een extra functie toe om de tekstchat binnen de ervaring beleefd te houden: we maken gebruik van AI om berichten automatisch te herformuleren, te beginnen met grof taalgebruik. Naarmate deze systemen opschalen, creëren ze een vliegwiel voor beleefdheid, waarbij realtime feedback gebruikers helpt onze Community Standards te leren en toe te passen. Alle gebruikers, niet alleen de afzender van het bericht, zien welke taal is toegestaan op Roblox (en de afzender ziet wat niet is toegestaan). Dit biedt meer feedback aan gebruikers die de regels misschien niet kennen en bouwt voort op onze basis van filtering en realtime waarschuwingen om veilige, beleefde en leuke gesprekken op Roblox te ondersteunen. 

Realtime herschrijven van chatberichten: van stopborden naar begeleiding

Voor veel gebruikers kan een reeks ##### een doodlopende weg in het gesprek zijn, zonder begeleiding over hoe ze hun taalgebruik kunnen aanpassen om onze communitynormen te volgen. Dit kan vaak verwarring veroorzaken en het moeilijker maken voor teams binnen een game om samen te werken. Stel je voor dat iemand zijn vriend probeert te vertellen dat er een monster achter hem staat en iets typt als "Pas op! Er zit een fkng monster op je ahhh!" om hem te waarschuwen. De vriend ziet alleen "###########." Dat helpt niet echt. 

Vanaf vandaag wordt gefilterde tekst vertaald naar respectvollere taal die nog steeds natuurlijk aanvoelt voor Roblox-gebruikers. Bij de lancering richt deze realtime herformulering zich op grof taalgebruik. Zo kan "Schiet verdomme op!" bijvoorbeeld "Schiet op!" worden, wat veel dichter bij de oorspronkelijke bedoeling ligt dan #####. Voor alle duidelijkheid: wanneer we een bericht herformuleren dat in strijd is met ons beleid inzake grof taalgebruik, blijft het een overtreding en gelden dezelfde regels. Een gebruiker die blijft proberen te vloeken in de chat, krijgt nog steeds te maken met dezelfde gevolgen voor het herhaaldelijk overtreden van ons beleid. 

Zie dit systeem als een stuurwiel in plaats van een stopbord: als een bericht ons beleid schendt, krijgt iedereen in de chat een melding dat de tekst is herschreven om de sfeer beschaafd te houden. Door verboden woorden te koppelen aan uitdrukkingen die gebruikers daadwerkelijk in dagelijkse chats gebruiken, helpen we de chat respectvol te houden zonder het authentieke gevoel of de flow te verliezen. Door deze stopborden te vervangen door realtime begeleiding, kunnen we een deel van die wrijving verminderen – en toch onze regels tegen vloeken handhaven.

We staan nog aan het begin met het herformuleren en het bieden van meer context aan gebruikers wanneer tekst wordt geblokkeerd. Na verloop van tijd zal het, net als elke AI-vertaaltool, steeds nauwkeuriger en genuanceerder worden in het behouden van de oorspronkelijke toon of context van een gebruiker. Onze prioriteit blijft het opbouwen van een veilige en beschaafde manier van communiceren op Roblox, waarbij het informeren, opleiden en begeleiden van onze gebruikers bij het leren van onze normen voorop blijft staan. 

Hoewel herformulering een deel van de verstoring in de chat vermindert, blijft ons meerlagige veiligheidssysteem van kracht voor ernstiger gedrag. Herformulering is uitsluitend beschikbaar voor in-experience-chat, die alleen beschikbaar is tussen gebruikers van dezelfde leeftijdsgroep waarvan de leeftijd is gecontroleerd en hun Trusted Connections. Herformuleringen worden ondersteund in alle talen die momenteel beschikbaar zijn via onze automatische vertaaltools. Ons doel is om een nauwkeurigheidsniveau te bereiken waarmee we het gebruik van ### kunnen verminderen totdat we het volledig kunnen afschaffen, waardoor digitale communicatie net zo natuurlijk en duidelijk wordt als een persoonlijk gesprek.

Bij de ontwikkeling van deze functie hebben we overleg gepleegd met de leden van onze Teen Council om een systeem te bouwen dat aansluit bij de manier waarop tieners daadwerkelijk chatten. Raadslid Sofia vertelde ons: "De overstap naar realtime herformulering behoudt de gespreksstroom en draagt tegelijkertijd bij aan de veiligheid van iedereen. Het brengt de interactie op een zachte manier weer op het juiste spoor en zorgt ervoor dat mensen zich welkom voelen." 

Jordyn, lid van de Teen Council, is het daarmee eens. "Deze verschuiving leert spelers na te denken over hoe ze communiceren en versterkt de interactie door vriendschappelijke banden te bevorderen", aldus Jordyn. "Door over te stappen op herformulering ontstaat er een middenweg tussen de verzoeken van spelers en de noodzakelijke veiligheidsnormen."  

Verbeterde tekstfilters: van patronen naar context

Onze veiligheidsfuncties evolueren voortdurend om aan te sluiten bij de manier waarop gebruikers op Roblox chatten. Onze tekstfilters zijn getraind om alles te detecteren en te blokkeren wat in strijd is met onze communitynormen. Dat moet op wereldwijde schaal en in realtime gebeuren, terwijl gebruikers aan het chatten zijn.

Aanvankelijk bestond dit systeem uit twee componenten: 1) Een op regels gebaseerd systeem dat is ontworpen om binnen enkele minuten inhoud te detecteren en te blokkeren die onze regels overtreedt wanneer er gebeurtenissen in de echte wereld plaatsvinden. 2) Een reeks gespecialiseerde modellen die zijn getraind op basis van een groter model, gebaseerd op een reeks gesimuleerde en echte voorbeelden die voortdurend worden bijgewerkt om veranderende taalgebruik mee te nemen. 

Deze gespecialiseerde modellen zijn erg goed in specifieke taken, zoals het vinden van een lijst met woorden die we niet toestaan, maar ze kunnen niet erg goed redeneren, dus zijn ze niet goed in het vinden van termen die in ontwikkeling zijn. Extreem grote modellen werken niet in realtime, en hallucinaties (of verkeerde categoriseringen) zorgen vaak voor meer valse positieven. 

In deze update hebben we een nieuwe, derde component aan ons tekstfiltersysteem toegevoegd. Wanneer de gespecialiseerde modellen nu niet zeker weten of iets de regels overtreedt of niet, worden ze doorgestuurd naar zeer grote modellen die beter zijn in redeneren en het beoordelen van meer context. Deze grote modellen kunnen complexere beslissingen nemen. 

Onze experimenten tonen aan dat deze gecombineerde aanpak onze filters aanzienlijk heeft verbeterd. De filters kunnen nu beter leet-speak detecteren, oftewel letters die zijn vervangen door cijfers of symbolen, en meer geavanceerde pogingen om onze filters te omzeilen. Geen enkel systeem is ooit perfect, maar we zijn verheugd dat deze meest recente innovatie ons in staat heeft gesteld om het aantal valse negatieven voor het delen of vragen om persoonlijke informatie, zoals social media-accounts of telefoonnummers, met een factor 20 te verminderen.

Dit is een gedurfde nieuwe aanpak en we zullen dingen niet altijd perfect herformuleren. Maar we blijven leren en experimenteren terwijl we verdergaan en we zullen het aantal ##### dat gebruikers in hun chats zien blijven verminderen, met als doel op de lange termijn deze volledig af te schaffen. Ons uiteindelijke doel is om gebruikers in staat te stellen samen te werken en contact te leggen op een manier die zowel leuk als respectvol is.