Содержимое этого сайта переведено с помощью искусственного интеллекта (ИИ) или технологии машинного перевода и может содержать ошибки.

Skip to content

Roblox представляет модели безопасности с открытым исходным кодом сообществу ROOST Model Community

Опубликованы новый эталон и обновленные версии классификатора персональных данных, классификатора безопасности голосовых данных и Roblox Sentinel

When a player breaks one of our rules, they see a notification giving them a warning and sharing information on which policy they violated.

Roblox предоставляет три модели безопасности с открытым исходным кодом сообществу Robust Open Online Safety Tools (ROOST) Model Community. Среди них — обновления нашего классификатора персональных данных с открытым исходным кодом, Roblox Sentinel, а также нашего новейшего классификатора безопасности голосовых сообщений. Кроме того, мы открываем доступ к новому набору данных для оценки, который другие компании смогут использовать для сравнительного анализа своих собственных классификаторов. Версии этих моделей уже работают на платформе Roblox, обнаруживая попытки выуживания или передачи личной информации, выявляя ранние признаки угрозы безопасности детей и модерируя голосовой чат в режиме реального времени. 

Мы присоединились к ROOST в качестве одного из учредителей в начале 2025 года наряду с Google, OpenAI и другими компаниями. Предоставление доступа к этим моделям даёт другим платформам надёжную отправную точку для обучения и настройки собственных инструментов модерации. В свою очередь, мы надеемся извлечь пользу из опыта и отзывов других компаний, которые делятся результатами своей работы.

Сохранение конфиденциальности личной информации

Roblox PII Classifier notifies users if they are breaking the rules by asking for or sharing PII

Классификатор PII Roblox обучен обнаруживать попытки игроков делиться или запрашивать личную идентифицирующую информацию (PII), а также переманивать игроков на другие платформы, где меры защиты могут быть не столь надежными. Сюда входят попытки обойти систему обнаружения с помощью орфографических ошибок, зашифрованных слов или неясных упоминаний других платформ. Вместо поиска точных совпадений слов система построена таким образом, чтобы понимать контекст разговора, что помогает ей улавливать зашифрованные запросы, которые стандартные фильтры могут пропустить. 

Версия 2.0 принесла несколько важных обновлений: данные для обучения и оценки теперь учитывают контекст разговора, а не изолированные сообщения, которые могут показаться неоднозначными. Оценка сообщений в контексте более широкого разговора помогает выявлять намерение поделиться или выудить PII. Обучение на наборе синтетических примеров, сгенерированных LLM, которые отражают более сложные сценарии обхода и редкие многоязычные случаи, помогло нам расширить количество поддерживаемых языков с 17 до 189. Мы также объединили LLM с функцией извлечения контекста, чтобы получать релевантные образцы из тщательно отобранного набора меченых данных. Сегодня точность и полнота обнаружения версии 2.0 превосходят традиционные методы модерации — особенно в случае более изощрённых попыток обхода. Например, если кого-то спрашивают о сервере на другой платформе, он может завуалировать свой ответ:

Пользователь: «это dscrd (точка) gg (косая черта) rblx-vibe-99», 

Пользователь: «Теперь замени (точка) на ., а (косая черта) на /».

Версия 2.0 способна понимать контекст этих сообщений в совокупности и предотвращать передачу личной информации, которая может привести к уходу игрока из Roblox. Благодаря автоматизированному тестированию методом «красной команды» и целевому генерации синтетических данных модель стала ещё лучше различать тонкости передачи личной информации от обычной беседы, сохраняя при этом естественный пользовательский опыт. Эта работа позволила повысить наш показатель F1 с 63,41 до 90,52 — это значительное улучшение по сравнению с версией 1.0, которая демонстрирует лучшие результаты как во внутренних, так и в открытых тестах.

Публикация набора данных для оценки

Roblox PII Classifier Benchmark — это новый набор данных для оценки классификаторов PII, содержащий синтетические образцы многопользовательских чатов на английском языке, смоделированные с использованием техник, часто применяемых для обхода фильтров PII. Эти образцы представляют собой сгенерированные LLM симуляции ситуаций, в которых игроки запрашивают или передают PII либо направляют других игроков за пределы платформы. Использовались такие стратегии, как фонетический обход, замена символов и визуальных элементов, зашифрованный язык, а также распределение информации по разным ходам диалога. Мы также проводили обучение на «сложных отрицательных примерах», таких как чаты, которые не содержат ничего опасного, но внешне похожи на разговоры, включающие обмен или запрос PII.

Этот набор данных отражает реальные многопользовательские онлайн-чаты, в отличие от существующих наборов данных, которые часто сосредоточены на извлечении именованных сущностей — небольшом подмножестве того, что видят платформы. На практике попытки выудить личную информацию часто появляются задолго до появления какой-либо обнаруживаемой строки с личными данными — например, когда один игрок спрашивает другого: «какой у тебя @ в приложении с привидением?» Мы публикуем этот тестовый набор, чтобы сообщество могло протестировать и усовершенствовать классификатор личной информации Roblox, помогая нам всем двигаться к еще более надежной защите в сети.

Выявление рисков на как можно более ранней стадии

Roblox Sentinel разработан для обнаружения ранних признаков потенциальной угрозы детям задолго до того, как сообщения станут достаточно явными для обнаружения другими системами. Основанный на контрастивном обучении, Sentinel обучен распознавать шаблоны как безобидных, так и потенциально опасных разговоров. Он сравнивает новые разговоры с этими шаблонами, чтобы выделять едва заметные предупреждающие признаки для проверки, прежде чем ситуация ухудшится. Sentinel позволяет модераторам расставлять приоритеты среди чатов, которые с наибольшей вероятностью требуют внимания, чтобы они могли быстро принимать меры в отношении учетных записей злонамеренных пользователей и сообщать о проблемных пользователях в соответствующие органы. За 12 месяцев, закончившихся 7 августа 2026 года, почти 70 % выявленных нами случаев были обнаружены благодаря раннему обнаружению Sentinel, который зачастую выявлял эти случаи гораздо раньше, чем другие методы обнаружения.

Сегодня мы выпускаем версию 2, которая повышает точность за счёт предоставления большего количества способов комбинирования оценок: количество комбинирующих функций увеличено с двух до шести, каждая из которых подходит для своего типа данных. Учитывая отзывы сообщества ROOST, в версии 2 также добавлены новые способы оценки того, какая функция лучше всего подходит для конкретного случая использования, включая объяснения причин, по которым источник получил ту или иную оценку. Кроме того, благодаря устранению необходимости пересчитывать оценочные данные для каждой настройки версия 2 делает поиск среди этих вариантов практичным. Например, версия 2 смогла выполнить прогон по 324 конфигурациям менее чем за три минуты — ранее такой прогон занял бы почти час. Она также повысила показатель ROC-AUC (стандартный показатель качества ранжирования) с 0,894 при настройках по умолчанию до 0,996 при использовании наилучшей найденной конфигурации. Эти оптимизации должны упростить тестирование и настройку этого нового инструмента с открытым исходным кодом для конкретных сценариев использования.

Контроль безопасности голосовых сообщений в режиме реального времени

Notification that appears after a player has broken the rules more than once, letting them know that voice chat is temporarily suspended and giving them an opportunity to appeal.
Уведомление, которое появляется после того, как игрок более одного раза нарушил правила, информирующее его о временной приостановке голосового чата и предоставляющее ему возможность подать апелляцию. 

Наш классификатор безопасности речи разработан для обнаружения и маркировки несоответствующих высказываний в режиме реального времени. Когда игрок нарушает одно из наших правил, он видит уведомление с предупреждением и информацией о том, какую политику он нарушил. Если он продолжает нарушать правила, доступ к чату будет временно приостановлен на срок до пяти минут. Игроки могут подвергнуться более суровым санкциям за серьезные нарушения или в случае подачи жалоб на них другими игроками. С момента перехода на открытый исходный код в 2024 году наш классификатор был скачан более 72 000 раз. 

Недавно выпущенная версия 3 обеспечивает модерацию голосового чата на 30 языках и по восьми категориям нарушений с ещё более высокими показателями полноты и точности. По всем 30 языкам она достигает 61 % полноты при строгом уровне ложных срабатываний в 1 %. В неё также добавлена встроенная функция определения языка. Эти улучшения стали возможными благодаря увеличению объёма помеченных обучающих данных по всем 30 поддерживаемым языкам — сначала машиная маркировка для увеличения объёма, а затем ручная маркировка для обеспечения качества. Несмотря на то что количество параметров базовой модели увеличилось с 94,6 млн до 320 млн, мы использовали дистилляцию модели, чтобы обеспечить достаточную скорость для обнаружения в режиме реального времени. 

Безопасность — это общая ответственность: ни одна компания не может решить эту проблему в одиночку. Наша цель при участии в проекте ROOST — помочь другим компаниям улучшить свои собственные классификаторы безопасности. Мы будем продолжать делиться знаниями и учиться у сообщества ROOST, совместно развивая технологии автоматического обнаружения.