Roblox Sentinelのオープンソース化：予防的なリスク検出に向けた当社のアプローチ

• 毎日、1億人を超えるあらゆる年齢層のユーザーが、Robloxで安全かつ前向きな体験を楽しんでいます。
• 私たちは、特に最年少のユーザーのために、システムをデフォルトで可能な限り安全なものにするよう努めています。これには、極めて厳格なポリシーを適用し、AIを活用してチャット内で検知した不適切なメッセージ（「Trusted Connections」以外の個人を特定できる情報を含む）をフィルタリングしています。また、コンテンツを積極的に監視しており、チャットでの実世界の画像の共有は許可していません。
• もちろん、完璧なシステムなど存在せず、業界における最大の課題の一つは、児童への危害の危険性といった重大な危害を検知することです。一連の友好的なチャットや支援的なメッセージも、特に異なる年齢層のユーザー間でやり取りされる場合、長い会話履歴の中で異なる意味合いを帯びてくる可能性があります。 
• そこで当社は、対比学習に基づいて構築されたAIシステム「Roblox Sentinel」を開発しました。このシステムは、グルーミング（勧誘）など、児童への危害の可能性がある初期の兆候を検知するのに役立ち、より早期に調査を行い、必要に応じて法執行機関に通報することを可能にします。
• 2025年前半、Sentinelの支援により、当社のチームは「全米行方不明・搾取児童センター（NCMEC）」に対し、児童搾取の試みと思われる事例を約1,200件通報しました。これには、当社のフィルタリング機能やその他の安全対策を回避しようとする試みも含まれています。
• 今回、Roblox Sentinelをオープンソース化できることを大変嬉しく思います。また、より安全なインターネットの構築に貢献できるよう、コミュニティの皆様との積極的な連携を求めています。

友人と過ごしたり、他のプレイヤーと競い合ったりすることはRobloxの中心的な要素であり、コミュニケーションはその活動の核となっています。 実際、毎日1億1,100万人以上のユーザーがRobloxを訪れており、コミュニティでは平均で61億件のチャットメッセージが送信され、数十の言語で110万時間分の音声通信が行われています。このコミュニケーションは現実世界を反映しています。その大部分は、気軽な会話からゲームプレイの議論に至るまでの日常的なチャットですが、ごく少数の悪意あるユーザーが当社のシステムを回避し、危害を加えようとする可能性があります。 

先月、私たちは年齢に基づくコミュニケーションに関するビジョンを共有しました。特に最年少のユーザーのために、デフォルトでシステムを可能な限り安全なものにするよう努めています。例えば、チャットを通じたユーザー間の画像や動画の共有は許可していません。当社のシステムは完璧ではありませんが、継続的に改善されており、電話番号やユーザー名などの個人を特定できる情報を積極的にブロックするように設計されています。また、年齢確認が完了していないユーザー間のチャットは厳重にフィルタリングされ （13歳未満のユーザーには許可されていません）。Robloxは、知り合いとより自由にチャットするために顔による年齢推定を必要とする、最大規模のプラットフォームの一つです。私たちの目標は、オンラインゲームの安全性において世界をリードすることであり、主要な安全技術をオープンソース化することに尽力しています。

本日、当社は最新のオープンソースモデル「Sentinel」を公開します。これは、児童への危害につながる可能性のあるやり取りを検知するためのAIシステムです。問題が顕在化するはるか以前から、Sentinelは微妙なパターンを早期に検知・調査し、必要に応じて法執行機関に通報することを可能にします。

Sentinelは2024年後半からRoblox上で稼働しており、当社のオープンソース安全対策ツールキットに新たに加わったものです。 2025年上半期において、当社が検出した事案の35%はこの予防的アプローチによるものであり、多くのケースでは虐待の通報が行われる前に発見されています。他のモデレーションシステムと組み合わせることで、Sentinelはこうした深刻な違反の可能性を検知し、対処するためのツールの選択肢をさらに広げています。 

Sentinelは現在、大規模な本番環境で稼働しています。 2025年前半には、そのプロアクティブな機能により、当チームは全米行方不明・搾取児童センター（NCMEC）に約1,200件の報告を行うことができました。改善の余地は常にありますが、Sentinelの早期検知機能は、メッセージがまだ微妙な段階であり、ユーザーからの不正利用報告によって表面化する前に、潜在的な悪意ある行為者を特定し、調査する上で既に役立っています。 

Sentinelが検出した事案の調査と介入には、人間の専門家が不可欠です。訓練を受けたアナリスト（通常は元CIAやFBIのエージェント、その他の専門家）が、Sentinelが違反の可能性があるとしてフラグを立てた事案を審査します。 これらのアナリストによる判断はフィードバックループを生み出し、それによって例やインデックス、トレーニングセットを継続的に改良・更新することが可能になります。この「ヒューマン・イン・ザ・ループ」プロセスは、検知を回避しようとする悪意ある行為者の新たなパターンや手法に適応し、その変化に遅れを取らないようにするために不可欠です。

Sentinelは、革新的なAIツールと数千人の専門家による人的知見を融合させた、Robloxの多層的な安全システムの重要な構成要素です。本日より、Sentinelは当社のRobloxオープンソース安全ツールキットの一部としても公開されています。 より安全なデジタル世界の構築は、私たち全員の共有責任であると考えています。Sentinelのような安全システムをオープンソース化し、当社のアプローチを共有するとともに、Robust Open Online Safety Tools（ROOST）やTech CoalitionのLanternプロジェクトなどの組織の創設メンバーとなることで、オンライン安全対策の実践と、それに依存するオンラインコミュニティの全体的な発展に貢献したいと考えています。

悪意が単なる意図の域を超える前に、当社のモデレーションシステムが迅速に対応できるよう、Sentinelは毎日60億件を超えるチャットメッセージを対象に、ほぼリアルタイムで大規模な分析パイプラインを実行する必要があります。Sentinelは1分ごとのスナップショットとしてテキストチャットを継続的に収集します。 メッセージは機械学習（ML）によって自動的に分析され、その唯一の目的は、グルーミングや児童への危害など、潜在的な危害を特定することです。さらに、この情報を経時的に集約し、懸念される事例やパターンを特定して、人間のアナリストが評価・調査できるようにしています。 

静的なルールやラベル付けされた例に依存するツールとは異なり、Sentinelは自己教師なし学習を用いて、発生するコミュニケーションパターンを検知し、一般化することを学習します。これにより、Sentinelは新しく進化する脅威を特定することが可能になります。

チームは2つのインデックスを開発することでこれを実現しました。1つは、安全で無害なメッセージをやり取りするユーザーからのコミュニケーションで構成される「ポジティブインデックス」です。もう1つは、児童の安全を脅かすポリシー違反であると判断され削除されたコミュニケーションで構成される「ネガティブインデックス」です。この対照的なアプローチにより、システムは、インデックスから以前に検出されたコミュニケーションパターンと完全に一致しない場合でも、一般化を行い、進化する脅威を特定できるようになります。 Sentinelの主な利点の一つは、機能するために大量のサンプルを必要としないことです。これは、ネガティブサンプルの発生頻度が低いことを考慮すると特に重要です。現在の実稼働システムでは、ネガティブインデックスにわずか13,000件のサンプルしか含まれていませんが、それでも潜在的な危害を確実に特定しています。   

ネガティブインデックスは、当社のモデレーターが審査した会話の中から、児童の安全を脅かすポリシー違反の明確な証拠が確認されたもの（これについては既に対処済み）に基づいて構築されています。ユーザーのやり取りに持続的で懸念される活動が見られる場合、その会話の特定のスニペットを有害なコミュニケーションの例としてラベル付けします。 このようにラベル付けされたセグメントは埋め込みベクトルに変換され、ネガティブインデックスに追加されます。このトレーニングにより、Sentinelは特定の単語やフレーズをフラグ付けするだけでなく、実際に危害を加える意図を持った会話がたどる文脈上のパターンや展開から学習するようになります。このため、たとえそれが些細なものであっても、当社の他のAIモデレーションシステムでは認識できないような有害なコミュニケーションを、本システムは認識することが可能です。 

例えば、「やあ、元気？」といった単純なメッセージは、言葉遣いが無害であるため、ポジティブインデックスに一致します。一方、「どこから来たの？」といったメッセージは、潜在的なグルーミング（誘引）会話のパターンに一致するため、ネガティブインデックスに一致します。 システムは新しいメッセージをこれらのインデックスと比較し、ユーザーが「どこ出身？」と尋ねているのを検知した場合、会話がネガティブな方向に進み続けるかどうかを確認するために、さらなる情報の収集を開始することがあります。単一のメッセージだけでは人間のレビュー対象としてフラグを立てるには不十分ですが、継続的なパターンであればフラグの対象となります。

この対比的測定アプローチは、ラベル付きデータなしで画像表現モデルを学習させるために対比的測定を用いる自己教師付き学習フレームワーク「SimCLR」に着想を得ています。私たちはこの技術をテキストおよび音声データに対応させるよう改良し、Sentinelがユーザーの言葉を理解し、それが既知のパターンに合致するか、あるいは逸脱しているかを判断できるようにしました。このプロセスは、インタラクションのスコアリング、パターンの追跡、アクションの実行という3つの段階で構成されています。

個々のインタラクションの測定：各メッセージは、そのアクションの意味的およびコミュニケーション的特徴を捉えたベクトル、すなわち埋め込み（embedding）に変換されます。Sentinelはこの埋め込みを、ポジティブインデックスおよびネガティブインデックスと比較します。その後、システムはコサイン類似度を用いて、そのインタラクションがどちらのインデックスにより近いかを測定します。

そのインタラクションがネガティブインデックスに含まれる有害なパターンにより一致している場合、より高いリスク指標が割り当てられます。安全または有害なコミュニケーションパターンのいずれにも有意に一致しないメッセージは除外されるため、システムは潜在的なシグナルを含むインタラクションのみに焦点を当てることができます。これにより、誤検知を減らし、時間の経過とともにインタラクション測定の精度を向上させることが可能です。 

平均値だけでなく、歪度を用いてパターンを追跡：悪意のある行為者は、無害なコンテンツの中に意図を紛れ込ませて隠蔽することがよくあります。単にユーザーの測定値を時間軸で平均化してしまうと、検出したいネガティブなメッセージがノイズの中に埋もれてしまう可能性があります。その代わりに、Sentinelは時間軸における測定値の分布を分析し、統計的な歪度を測定します。これは、稀な高リスクなメッセージがリスクプロファイルを押し上げているかどうかを検出する方法です。

これにより、ほとんどのやり取りが無害に見える場合でも、危険なコミュニケーションへとエスカレートする初期兆候を検出できます。また、歪みを分析する際には、通信量の補正も行います。 非常にアクティブなユーザーは、コミュニケーションにおける一致の絶対数が多いため、リスクが高いように見える可能性があります。総量ではなく統計的な歪みを重視することで、おしゃべりではあるもののルールを遵守しているユーザーに関する誤検知を回避できます。これにより、Sentinelはスケーラブルであるだけでなく、より高精度になり、膨大なコミュニケーションの流れを処理して、危害を加える意図を検知するのに役立つ、稀ではあるが重要なシグナルを見つけ出すことが可能になります。 

シグナルからアクションへ：より多くのやり取りが計測されるにつれて、システムは動的なリスクプロファイルを構築します。ユーザーのパターンが危害を加える意図を持つコミュニケーションと強く一致している場合、あるいはその方向へ向かう偏りが認められる場合、Sentinelはフラグを立て、より詳細なレビューと調査を促します。