Safety Snapshot: März

In unserem Safety Snapshot vom März berichten wir darüber, wie wir Inhalte mithilfe automatisierter Systeme moderieren, die problematische Inhalte erkennen und entfernen – oftmals noch bevor die Benutzer sie sehen. Außerdem stellen wir ein neues Dashboard vor, das es Creatorn ermöglicht, schlechtes Benutzerverhalten in ihren Spielen zu erkennen und zu bekämpfen, sowie ein neues Programm zur Schulung von Community-Managern in der gesamten Branche. Weitere Informationen über die Tools zur Meldung durch Benutzer findest du im Safety Snapshot des letzten Monats. 

Kontinuierliche Moderation des Benutzerverhaltens

Ein Teil der Magie von Roblox sind die ständig wachsenden und sich verändernden Inhalte, die von unseren Creatorn erstellt werden. Creator veröffentlichen kontinuierlich Spiel-Updates und fügen neue Abzeichen oder Haustiere hinzu, und die Benutzer ändern die Outfits ihrer Avatare und bemalen oder erschaffen Dinge in Echtzeit. Wir überprüfen alle Inhalte, bevor sie auf der Plattform veröffentlicht werden, und entfernen alles, was gegen unsere Richtlinien verstößt.

Problematische Inhalte auf Roblox werden dank mehrstufiger Moderationstools zum größten Teil erfasst, und wir lehnen alles ab, was gegen unsere Community-Regeln verstößt. Trotz allem sind wir nicht perfekt. Deshalb nutzen wir Benutzermeldungen, um Inhalte zu finden, die wir möglicherweise übersehen haben, und um entsprechende Maßnahmen zu ergreifen.

Aufgrund des dynamischen Charakters von Spielen auf Roblox ändern sich die Inhalte ständig, je nachdem, wie die Benutzer genehmigte Avatare, Kleidung und Bewegungen kombinieren. In Spielen, in denen man frei zeichnen kann, kann ein Benutzer beispielsweise ein anstößiges Symbol oder einen anstößigen Gegenstand zeichnen. Aus diesem Grund haben wir kürzlich ein neues KI-System für die multimodale Moderation in Echtzeit eingeführt, das diese Kombinationen gemeinsam überprüfen kann.

Herkömmliche KI-Moderationssysteme sind so konzipiert, dass sie jeweils nur ein Objekt bewerten. Außerdem mangelt es ihnen oft an Kontext, sodass sie Kombinationen übersehen, die gemeinsam problematisch sein könnten, auch wenn es die einzelnen Elemente nicht sind. Unser neues multimodales Echtzeit-Moderationssystem wertet eine gesamte Szene aus, darunter auch Avatare, Text und 3D-Objekte. Es erfasst alle Elemente gemeinsam zu einem bestimmten Zeitpunkt und bewertet, ob die gesamte Szene gegen unsere Regeln verstößt. Wenn diese Art von problematischem Verhalten in einer einzelnen Spielinstanz wiederholt auftritt, schaltet das System nur diese Instanz (auch Server genannt) ab, nicht das gesamte Spiel.

Seit der Einführung dieses multimodalen Systems haben wir täglich etwa 5.000 Instanzen abgeschaltet, die gegen unsere Community-Regeln verstoßen. Wir trainieren und skalieren das System ständig und können dadurch unsere Genauigkeit kontinuierlich verbessern. Zudem arbeiten wir mit der Community zusammen, um Falschmeldungen zu minimieren. Wir sind bestrebt, dieses multimodale System so zu skalieren, dass es 100 % der Spielzeit erfasst und überwacht. Es wird jedoch immer einzelne Personen geben, die versuchen, ein System zu umgehen, daher entwickeln wir aktiv Technologien, die über das Abschalten von Servern hinausgehen. Wir arbeiten an Möglichkeiten, bestimmte böswillige Akteure zu identifizieren, damit wir sie entfernen können, ohne die Experience für Spieler zu beeinträchtigen, die nichts Böses im Sinn haben.

Einblick für Creator in Server-Abschaltungen

Wir haben das Dashboard für die Sicherheitsübersicht erweitert und bieten Creatorn dadurch die Möglichkeit, die Ergebnisse dieses multimodalen Moderationssystems transparenter zu sehen. Wie bereits erwähnt, schalten wir Spielserver ab, wenn darauf zu viel unangemessenes Benutzerverhalten erkannt wird. Um Creatorn einen besseren Einblick zu geben, wie oft dies in ihren Spielen geschieht, haben wir ihrem bestehenden Creator Dashboard ein neues Diagramm hinzugefügt. 

Creator können jetzt sehen, wie viele ihrer Spieleserver aufgrund von schlechtem Benutzerverhalten (d. h. Verstößen gegen unsere Richtlinien zu Belästigung und Diskriminierung oder zu romantischen und sexuellen Inhalten) abgeschaltet wurden. Dies hilft ihnen, einen plötzlichen Anstieg zu erkennen, damit sie handeln können, bevor die Abschaltungen ihre gesamte Community betreffen. Anschließend können sie sich ihr Spiel genauer ansehen und entscheiden, ob Änderungen an benutzerdefinierten Emotes, Tools zur Avatar-Bearbeitung oder In-Game-Funktionen zur Erstellung eigener Inhalte durch Benutzer erforderlich sind, um problematische Kreationen zu verhindern. 

Schulung digitaler Moderatoren

Roblox, Keyword Studios und Riot Games arbeiten gemeinsam mit der Forschungspsychologin und Forschungsleiterin von Games for Change, Rachel Kowert, an einem neuen Zertifizierungsprogramm für digitale Community-Leiter. Roblox bringt seine Expertise in den Bereichen Community-Moderation und prosoziales Design ein, um einen Lehrplan für das neue DLC-Führungsprogramm zu entwickeln und mitzugestalten. Ziel der Initiative ist es, den Mangel an standardisierten Schulungen für Online-Moderatoren, Community-Manager und Creator im Gaming-Bereich zu beheben. In einem kürzlich erschienenen Artikel erklärte Kowert, das Programm ziele darauf ab, "Forschungsergebnisse zu Gaming-Communitys und Online-Verhalten in praktische Tools umzusetzen, die digitale Führungskräfte nutzen können, um resilientere, nachhaltigere Online-Communitys aufzubauen".

Durch unsere Beteiligung an dieser Initiative spielen wir eine Vorreiterrolle in der Branche, indem wir ein erstes standardisiertes Zertifizierungsprogramm entwickeln, das der Creator-Community von Roblox und der Gaming-Branche insgesamt zugutekommen wird. Nach Abschluss wird das Programm Creatorn helfen, die entscheidenden Fähigkeiten zu erwerben, die sie benötigen, um ihre eigenen wachsenden Communitys effektiv zu moderieren und zu verwalten. Wir sind überzeugt, dass die Schulung von mehr Moderatoren und Creatorn hinsichtlich der Best Practices für gesunde, respektvolle Online-Communitys dazu beitragen wird, dass Online-Gaming für alle zu einem positiveren Erlebnis wird.