Warum die Gründung einer neuen Open-Source-Initiative als Gründungspartner für unseren Ansatz zur Online-Sicherheit entscheidend ist

• KI ist zu einer grundlegenden Komponente unseres Sicherheitsansatzes bei Roblox geworden, und wir wenden unsere Modelle auf Text- und Sprachkommunikation, Bilder sowie 3D-Modelle und -Meshes an.
• Die Förderung der Sicherheit unserer Nutzer, insbesondere unserer jüngsten Nutzer, hatte für uns schon immer oberste Priorität, und deshalb investieren wir weiterhin in unsere Sicherheitssysteme und verbessern diese. 
• Der Beitrag zur Open-Source-Community ist uns wichtig. Und wir bauen unsere Führungsposition im Bereich Sicherheitstechnologie aus, indem wir Gründungspartner von ROOST werden, einer neuen gemeinnützigen Organisation, die sich der Bewältigung wichtiger Bereiche der digitalen Sicherheit durch die Förderung von Open-Source-Sicherheitstools widmet.
• Außerdem stellen wir eine neue Version unseres Sprach-Sicherheitsklassifizierungsmodells als Open Source zur Verfügung (ein Modell mit 94 Millionen Parametern, das täglich bis zu 400.000 Stunden aktiver Sprache auf unserer Plattform verarbeitet), und wir planen, in Zukunft weitere Open-Source-Sicherheits-KI-Modelle zu veröffentlichen.

Die Förderung von Sicherheit und Anstand ist seit unserer Gründung vor fast zwei Jahrzehnten ein Grundpfeiler von Roblox. Die Entwicklung von Systemen zur Förderung der Sicherheit für alle ist eine große Herausforderung, insbesondere angesichts unserer globalen Reichweite und der Vielzahl unterschiedlicher Inhalte, die wir unterstützen. Deshalb investieren wir massiv in Infrastruktur, KI und Menschen. Mit Hunderten von Modellen im Einsatz wird fast jede Interaktion auf Roblox in irgendeiner Weise durch KI unterstützt.

Im vierten Quartal 2024 haben unsere Nutzer mehr als 300 Milliarden Inhalte hochgeladen, darunter Videos, Audiodateien, Texte, Voice-Chats, Avatare und 3D-Erlebnisse. Dennoch wurden nur 0,01 % dieser Inhalte als Verstoß gegen unsere Richtlinien erkannt, und der Großteil davon wurde von den Nutzern gar nicht gesehen, da er proaktiv moderiert wurde. Wir haben zudem grundlegende, hochleistungsfähige KI entwickelt, um unser gesamtes Spektrum an Inhalten und Kommunikationsformen sicher zu halten. Diese Modelle verarbeiten täglich mehr als 4 Milliarden Textnachrichten mit einer Latenz von nur wenigen Millisekunden sowie Millionen von Sprachstunden und Inhaltselementen. Wir sind bestrebt, schädliche Inhalte zu erkennen und Moderationsentscheidungen in großem Maßstab zu treffen.

Sicherheit ist etwas, das über Roblox hinausgeht. Während wir unsere Nutzer schützen können, wenn sie sich auf unserer Plattform befinden, haben wir nur begrenzte Möglichkeiten, dies zu tun, wenn sie nicht auf Roblox sind. Tatsächlich stehen Internetunternehmen auf der ganzen Welt vor diesen Herausforderungen, wenn ihre Nutzer von Plattform zu Plattform wechseln. Daher haben wir im Laufe der Jahre eine führende Rolle bei der Förderung von Online-Sicherheit und guten Umgangsformen übernommen, indem wir Organisationen wie dem Family Online Safety Institute und der Tech Coalition beigetreten sind.

Nun sind wir stolz darauf, unsere Führungsposition im Bereich der Online-Sicherheit auszubauen, indem wir – gemeinsam mit Google, OpenAI, Discord und anderen – Gründungspartner von ROOST (Robust Open Online Safety Tools) werden. Diese neue gemeinnützige Organisation widmet sich wichtigen Bereichen der digitalen Sicherheit – insbesondere der Online-Kindersicherheit –, indem sie skalierbare, interoperable und widerstandsfähige Sicherheitstools entwickelt, die für das KI-Zeitalter geeignet sind.

ROOST wird kostenlose Open-Source-Sicherheitsressourcen entwickeln, pflegen und verbreiten, die öffentliche und private Organisationen jeder Größe – von denen viele keinen Zugang zu grundlegender Sicherheitstechnologie haben – nutzen können, um ihre Systeme zum Schutz ihrer Nutzer zu verbessern. So können sie ihre Energie stärker auf das Wachstum ihres Unternehmens konzentrieren. 

Wir freuen uns darauf, zur Stärkung der Sicherheit im Internet beizutragen, und zu diesem Zweck werden wir auch den gemeinsamen Vorsitz im Technologiebeirat von ROOST übernehmen. Dies gibt uns die Möglichkeit, unsere Erfahrungen weiterzugeben und die Arbeit sowie die technische Strategie der Organisation zu beeinflussen und zu unterstützen.

Als Gründungspartner von ROOST können wir auf das Fachwissen der ROOST-Community im Bereich der Modellierung mit maschinellem Lernen zurückgreifen, um die Sicherheitstechniken weiterzuentwickeln, die wir gemeinsam nutzen und teilen. Das ist spannend, da ROOST an drei Kernbereichen der Online-Sicherheit arbeitet, die für Roblox und andere Online-Plattformen von entscheidender Bedeutung sind. Dazu gehören:

• Verbesserung der Kindersicherheit, einschließlich der Entwicklung leistungsfähigerer Klassifikatoren für Material über sexuellen Kindesmissbrauch (CSAM)
• Aufbau einer besseren Sicherheitsinfrastruktur, wie z. B. Überprüfungskonsolen und heuristische Engines, sowie das Sammeln und Kuratieren weiterer Trainingsbeispiele, statistische Stichproben, Kennzeichnung und Schulung von Mitarbeitern für diese Anwendungsfälle 
• Schaffung von durch große Sprachmodelle (LLM) gestützten Inhaltsschutzmaßnahmen, die KI nutzen, um Moderatoren zu schulen und zu trainieren, damit diese Richtlinien durchsetzen können

„Dass ein weltweit führendes Unternehmen im Bereich Online-Sicherheit wie Roblox als Gründungspartner zu ROOST stößt, ist eine riesige Chance für uns“, sagte Eli Sugarman, stellvertretender Vorstandsvorsitzender von ROOST. „Mit seinem nachweislichen Engagement für Open-Source-Sicherheit ist Roblox hervorragend positioniert, um seinen innovativen Ansatz zum Schutz der gesamten Online-Community einzubringen.“

Dies ist ein großer Moment für die gesamte Online-Community, und unsere Arbeit an Open-Source-Tools ist ein wesentlicher Bestandteil davon. Wir sind der Meinung, dass KI eine Technologie ist, die auf Transparenz und Offenheit basieren sollte, und wir sind entschlossen, ein starker Partner in der Open-Source-KI-Community zu sein.   

Technologiebetrag für die Open-Source-Community

Unsere Rolle als Gründungspartner von ROOST geht Hand in Hand mit unserem Ansatz, Technologie zur Open-Source-Community beizutragen. Diese Reise haben wir letztes Jahr begonnen, als wir unser Klassifizierungsmodell für Sprachsicherheit als Open Source zur Verfügung stellten. Dieses Modell kann Richtlinienverstöße bei Millionen von Minuten Sprachaktivität pro Tag genauer erkennen als menschliche Moderatoren. Seitdem wurde es fast 22.000 Mal heruntergeladen.

Wir haben nun eine aktualisierte Version dieses Modells in Produktion, die sieben neue Sprachen – Spanisch, Deutsch, Französisch, Portugiesisch, Italienisch, Koreanisch und Japanisch – verarbeitet und neue Techniken anwendet, die das Modell effektiver machen. Dazu gehören eine Curriculum-Trainingsarchitektur für die Feinabstimmung durch menschliche Labels, die Erweiterung der Missbrauchs-Heads sowie effizientere Schichten zur Merkmalsextraktion und Zeitreduktion. Wir planen, die neue Modellversion bis zum Ende des ersten Quartals 2025 als Open Source zur Verfügung zu stellen. Mit Blick auf die Zukunft planen wir außerdem, noch in diesem Jahr Klassifizierungsmodelle für andere Modalitäten als Open Source zur Verfügung zu stellen.

Die Open-Source-Veröffentlichung unserer Tools ist Teil unserer Identität, sowohl im Hinblick auf unsere Sicherheitsarbeit als auch auf die kreative Entwicklung. Im vergangenen Jahr haben wir beispielsweise unser 3D-Grundmodell vorgestellt, das Kreativen dabei helfen wird, viele Arten von Tools zur automatischen Generierung in ihre Projekte zu integrieren.

Wir freuen uns, Gründungspartner der ROOST-Community zu sein, und wollen mit anderen führenden Akteuren in diesem Bereich zusammenarbeiten und alles in unserer Macht Stehende tun, um das Internet sicherer zu machen.