Inside the Tech - 没入型音声通信における安全性の確保

御チームが取り組んでいる最大の技術的課題は何ですか？

私たちは、ユーザーにとって安全でポジティブな体験を維持することを最優先しています。安全性とマナーの遵守は常に私たちの最優先事項ですが、それをリアルタイムで処理することは大きな技術的課題となり得ます。問題が発生した際には、それを確認し、リアルタイムで対応したいと考えていますが、私たちの規模を考えるとこれは困難です。この規模を効果的に処理するためには、自動化された安全システムを活用する必要があります。

私たちが注力しているもう一つの技術的課題は、モデレーションにおける安全対策の精度です。ポリシー違反に対処し、リアルタイムで正確なフィードバックを提供するためのモデレーションアプローチには、「リアクティブ（事後対応型）」と「プロアクティブ（事前対応型）」の2つがあります。リアクティブ・モデレーションについては、プラットフォーム上のユーザーからの報告に対応し、さまざまな種類のポリシー違反を正確に特定するための機械学習（ML）モデルを開発しています。 プロアクティブなアプローチとして、ポリシー違反の可能性があるコンテンツをリアルタイムで検出し、ユーザーに自身の行動について啓発する取り組みを進めています。音声の理解と音質の改善は複雑なプロセスです。すでに進展は見られていますが、私たちの最終目標は、ポリシー違反行為をリアルタイムで検出できる高精度なモデルを構築することです。

こうした技術的課題に取り組むために、私たちはどのような革新的なアプローチやソリューションを採用しているのでしょうか？

当社は、音声データを分析し、ポリシー違反の種類（例：いじめや卑猥な言葉の使用など）に基づいて信頼度レベルを提供するエンドツーエンドの機械学習モデルを開発しました。このモデルにより、特定の報告を自動的に処理する能力が大幅に向上しました。 私たちは、モデルが確信を持っており、かつ人間よりも優れたパフォーマンスを発揮できると判断できた場合にのみ、措置を講じます。導入からわずか数ヶ月で、このモデルを用いて英語圏の音声による虐待に関する報告のほぼすべてをモデレートできるようになりました。これらのモデルは社内で開発したものであり、その背後にある技術を構築するために、多くのオープンソース技術と私たちの独自の取り組みが連携した成果と言えます。

何が適切かをリアルタイムで判断するのはかなり複雑に思えます。それはどのように機能しているのでしょうか？

システムが文脈を認識できるように、多くの工夫が凝らされています。また、措置を講じる前に経時的なパターンを分析し、その措置が正当であることを確認しています。当社のポリシーは、利用者の年齢、公共の場かプライベートチャットか、その他多くの要因に応じて微妙に異なります。私たちはリアルタイムで礼節を促進する新たな方法を模索しており、その中核には機械学習があります。 最近、ユーザーにポリシーを再確認してもらうための自動プッシュ通知を導入しました。また、ユーザーの意図をより深く理解し、皮肉や冗談などを区別できるよう、話し方のトーンといった要素も分析しています。さらに、複数の言語を話す人や、文の途中で言語を切り替える人もいるため、多言語対応モデルの構築も進めています。これらを実現するためには、正確なモデルが不可欠です。

現在、私たちはハラスメント、差別、卑猥な言葉など、最も顕著な形態の不正行為への対応に注力しています。これらは不正行為の報告の大部分を占めています。私たちの目標は、これらの分野で大きな成果を上げ、オンライン上での礼儀正しい対話を促進・維持するための業界標準を確立することです。MLをリアルタイムで活用することで、すべての人にとって安全で礼儀正しい体験を効果的に育むことができるため、その可能性に大きな期待を寄せています。

Robloxで取り組んでいる課題の独自性とは？まず何から解決すべきでしょうか？

当社の「Spatial Voice」技術を搭載したチャットは、現実世界のコミュニケーションを模倣し、より没入感のある体験を生み出します。例えば、私が誰かの左側に立っていると、相手は左耳から私の声を聞くことになります。私たちは現実世界でのコミュニケーションの仕組みをデジタル空間で再現しており、これが私たちが真っ先に解決できる課題です。

私自身もゲーマーとして、オンラインゲーム内で多くの嫌がらせやいじめを目にしてきました。ユーザーの匿名性や不処罰性により、この問題はしばしば放置されがちです。しかし、この問題に関して私たちが取り組んでいる技術的課題は、いくつかの点で他のプラットフォームが直面しているものとは異なります。一部のゲームプラットフォームでは、交流がチームメイトに限定されています。 Robloxは、現実世界により近いソーシャル環境で交流するための多様な方法を提供しています。機械学習（ML）とリアルタイム信号処理の進歩により、私たちは虐待的な行為を効果的に検知し対処することが可能になりました。つまり、Robloxはより現実的な環境であるだけでなく、誰もが安心して他者と交流し、つながれる場所でもあるのです。 当社の技術、没入感のあるプラットフォーム、そしてユーザーへのポリシー啓発への取り組みが相まって、私たちはこれらの課題に正面から取り組む体制を整えています。

この技術的な取り組みを通じて、どのような重要なことを学びましたか？

非常に多くのことを学んだと感じています。私は機械学習エンジニアではありません。これまで主にゲーム業界のフロントエンド開発に携わってきたため、これらのモデルの仕組みについて、これまで以上に深く理解できたことは大きな収穫でした。私たちが礼節を促進するために講じている措置が、オンラインコミュニティにおいてこれまで欠けていた共感の醸成につながることを願っています。

最後に学んだことは、すべてが入力するトレーニングデータに依存するということです。そして、データが正確であるためには、ポリシー違反となる特定の行動を分類するために使用されるラベルについて、人間同士が合意する必要があります。誰もが納得できる質の高いデータでトレーニングを行うことが非常に重要です。これは解決するのが本当に難しい問題です。 機械学習（ML）が他のあらゆる技術をはるかに凌駕している分野もあれば、まだ初期段階にある分野もあることが分かってきました。MLがまだ発展途上にある分野は数多く存在するため、その現在の限界を認識しておくことが重要です。

あなたのチームは、Robloxのどの価値観に最も共感していますか？

このプロセス全体を通じて、私たちの指針となる価値観は「コミュニティへの敬意」です。まず、プラットフォーム上のマナーの向上とポリシー違反の削減に注力する必要があります。これはユーザー体験全体に大きな影響を与えるからです。 次に、これらの新機能をどのように展開するかを慎重に検討しなければなりません。モデルにおける誤検知（例：何かを誤って不正利用としてマークすること）に注意を払い、ユーザーに不当なペナルティを課さないようにする必要があります。モデルのパフォーマンスと、それがユーザーエンゲージメントに与える影響を監視することは極めて重要です。

Robloxとあなたのチームが目指す未来の中で、最もワクワクする点はどこですか？

パブリックな音声コミュニケーションの改善においては大きな進展を遂げましたが、まだやるべきことは山積みです。プライベートなコミュニケーションは、探求すべきエキサイティングな分野です。 プライベートコミュニケーションを改善し、ユーザーが親しい友人に思いを伝えたり、体験をまたいで、あるいは体験中に友人と交流しながら音声通話を行えるようにすることには、大きなチャンスがあると考えています。また、ユーザーが自主的に組織を形成し、コミュニティに参加し、コンテンツやアイデアを共有できるような、より優れたツールを提供することで、こうしたコミュニティを育成する機会もあると思います。

当社が成長を続ける中で、拡大するコミュニティを支えるために、チャット技術をどのようにスケールさせていくべきでしょうか？ 私たちができることの多くは、まだほんの表面をなぞっているに過ぎません。業界全体において、これまでにない形でオンラインコミュニケーションやコラボレーションの健全性を向上させるチャンスがあると考えています。適切な技術と機械学習（ML）の能力があれば、私たちは健全なオンラインコミュニケーションの未来を形作るという、他に類を見ない立場にあるのです。