为何成为新开源计划的创始合作伙伴是我们在网络安全领域的重要策略
- 人工智能已成为Roblox安全体系的基石，我们将模型应用于文本和语音通信、图像以及3D模型和网格。
- 保障用户安全，特别是最年轻用户的安全，始终是我们的首要任务，因此我们持续投入并改进安全系统。
- 回馈开源社区对我们至关重要。我们正通过成为 ROOST 的创始合作伙伴来巩固我们在安全技术领域的领导地位——ROOST 是一家致力于通过推广开源安全工具来解决数字安全重要领域的新型非营利组织。
- 我们还将开源新版语音安全分类器模型（该模型拥有9400万个参数，每天在我们的平台上处理多达40万小时的实时语音），并计划在未来发布更多开源安全AI模型。
自近二十年前创立以来，倡导安全与文明始终是 Roblox 的立身之本。设计能够保障所有人安全的系统是一项重大工程，尤其是在我们全球化的规模下，且需要支持如此多样的内容类型。正因如此，我们在基础设施、AI 以及人才方面投入了大量资源。目前已有数百个模型投入生产，Roblox 上几乎每一次互动都以某种形式由 AI 驱动。
在2024年第四季度，我们的用户上传了超过3000亿条内容，涵盖视频、音频、文本、语音聊天、虚拟形象和3D体验。然而，其中仅有0.01%的内容被检测为违反我们的政策，且其中大部分内容因被主动审核而未被用户看到。 我们还开发了基础的高性能AI技术，以确保所有内容和沟通方式的安全。这些模型每天处理超过40亿条文本消息，延迟仅为几毫秒，同时处理数百万小时的语音内容和海量内容条目。我们致力于大规模检测不良内容并做出审核决策。
安全问题远不止于 Roblox 平台。虽然我们能在用户使用平台时提供保护，但在用户离开 Roblox 时，我们的能力便十分有限。事实上，当用户在不同平台间流动时，全球互联网公司都面临着同样的挑战。因此，多年来我们通过加入家庭网络安全研究所（Family Online Safety Institute）和科技联盟（Tech Coalition）等组织，在推动网络安全与文明规范方面发挥了领导作用。
如今，我们很自豪能通过与谷歌、OpenAI、Discord等机构共同成为 ROOST（Robust Open Online Safety Tools，即“强健开放式网络安全工具”）的创始合作伙伴，进一步巩固我们在网络安全领域的领导地位。这一新成立的非营利组织致力于解决数字安全中的关键领域——尤其是儿童网络安全问题——通过构建适合人工智能时代的可扩展、互操作且具有韧性的安全工具。
ROOST 将开发、维护并分发免费的开源安全资源，供各类规模的公共及私营组织（其中许多组织缺乏获取基础安全技术的能力）加以利用，从而增强其保障用户安全的系统。这将使它们能够将更多精力投入到业务发展中。
我们很高兴能助力提升互联网整体安全水平，为此，我们还将担任 ROOST 技术咨询委员会的联合主席。这将使我们有机会分享所学经验，并为该组织的工作和技术战略提供建议与支持。
成为 ROOST 的创始合作伙伴，使我们能够依托 ROOST 社区在机器学习建模方面的专业知识，共同推进我们既使用又共享的安全技术。这令人振奋，因为 ROOST 正在致力于三个对 Roblox 及其他在线平台至关重要的网络安全核心领域，包括：
- 提升儿童安全，包括开发更强大的儿童性虐待材料（CSAM）分类器
- 构建更完善的安全基础设施，例如审核控制台、启发式引擎，以及收集和整理更多训练样本，进行统计抽样、标注，并针对这些用例对人工审核人员进行培训
- 创建基于大型语言模型（LLM）的内容防护机制，利用人工智能对审核员进行培训和指导，以有效执行政策
“像 Roblox 这样在网络安全领域具有全球领导地位的企业作为创始合作伙伴加入 ROOST，对我们而言是一个巨大的机遇，”ROOST 董事会副主席 Eli Sugarman 表示。“凭借其在开源安全领域展现出的坚定承诺，Roblox 处于绝佳的位置，能够分享其创新方法，以帮助保护整个网络社区。”
这对整个在线社区而言是一个重要时刻，而我们在开源工具方面的工作正是其中关键一环。我们认为，AI 是一项应当建立在透明与开放基础上的技术，我们致力于成为开源 AI 社区中坚实的合作伙伴。
向开源社区贡献技术
作为 ROOST 的创始合作伙伴，这与我们向开源社区贡献技术的理念相辅相成。这一旅程始于去年，当时我们开源了语音安全分类器模型，该模型每天处理数百万分钟的语音活动，其检测政策违规的准确性甚至超过了人工审核员。自那时起，该模型已被下载近 22,000 次。
目前，该模型的更新版本已投入生产，支持西班牙语、德语、法语、葡萄牙语、意大利语、韩语和日语七种新语言，并采用了多项新技术以提升模型效能。这些技术包括用于人工标签微调的课程式训练架构、扩展的滥用头（abuse heads），以及更高效的特征提取和时间缩减层。 我们计划在2025年第一季度末前将该新版本模型开源。展望未来，我们还计划在今年晚些时候将其他模态的分类模型开源。
开源我们的工具是我们企业理念的重要组成部分，这既体现在我们的安全工作中，也体现在内容创作领域。例如，去年我们发布了3D基础模型，该模型将帮助创作者将多种自动生成工具整合到他们的创作体验中。
我们很高兴能成为 ROOST 社区的创始合作伙伴，并致力于与该领域的其他领军者合作，尽我们所能让互联网成为一个更安全的地方。
