재미, 게임 플레이, 그리고 예의를 위한 채팅의 재고

• 팀이나 커뮤니티가 함께 플레이하는 게임에서는 자연스럽고 유연한 채팅이 필수적입니다. 
• 부적절한 언어가 차단되어 #####로 표시된 부분은 채팅 흐름을 방해하고, 내용을 파악하기 어렵게 하며, 게임 플레이를 방해할 수 있습니다.
• 대화가 원활하고 예의 바르게 유지될 수 있도록, 저희는 채팅 필터를 개선하고 비속어를 가이드라인에 부합하는 단어로 바꿔 표시하고 있습니다.
• 이는 보다 자연스러운 채팅 경험을 위해 #####를 줄여나가는 장기적인 여정의 첫걸음입니다. 저희는 사용자를 위한 추가 제어 기능을 포함하여, 안전하고 예의 바른 채팅을 지원하기 위해 계속해서 학습하고, 개선하며, 도구를 발전시켜 나갈 것입니다.

매일 수백만 명의 사람들이 로블록스에서 만나 게임을 즐기며, 실시간 소통은 사용자 표현과 게임 플레이 조율에 매우 중요합니다. AI 필터를 사용하여 문제성 텍스트(사용자에게 #####로 표시됨)를 차단하는 것은 안전과 건전한 소통 증진을 위한 저희의 핵심 접근 방식이었습니다. 이러한 해시마크는 실시간으로 생성되며, 사용자가 입력한 내용이 허용되지 않을 때 이를 파악하는 데 도움을 줍니다. 물론, 사용자가 반복적으로 규정을 위반할 경우, 단순히 글이 ###로 표시되는 것 이상의 제재를 받게 됩니다.

2025년 5월, 저희는 사용자가 정책을 이해하는 데 도움을 주기 위해 선제적이고 실시간적인 경고 기능을 도입했습니다. 이 기능은 현재 텍스트 및 음성 채팅 모두에서 활성화되어 있습니다. 이러한 알림은 사용자가 규정을 위반했을 때 이를 알려주고, 다음 번에는 표현을 재고하도록 유도하며, 더 나은 디지털 시민이 될 수 있도록 돕습니다. 작년 실험 결과, 앱 내 텍스트 채팅 알림과 일시 정지 조치를 시행한 결과, 필터링된 채팅 메시지가 5% 감소하고 악용 신고로 인한 제재 건수도 6% 감소한 것으로 나타났습니다.

오늘, 우리는 게임 내 텍스트 채팅이 예의 바르게 유지될 수 있도록 돕는 추가 기능을 도입합니다. AI를 활용하여 욕설을 시작으로 메시지를 자동으로 수정해 줄 예정입니다. 이러한 시스템이 확대됨에 따라, 실시간 피드백을 통해 사용자가 커뮤니티 가이드라인을 배우고 준수하도록 돕는 '예의 바른 문화'의 선순환이 만들어질 것입니다. 메시지 발신자뿐만 아니라 모든 사용자가 Roblox에서 허용되는 언어를 확인할 수 있으며(발신자는 허용되지 않는 내용을 확인하게 됩니다), 이는 규칙을 잘 모르는 사용자에게 더 많은 피드백을 제공하고, Roblox에서 안전하고 예의 바르며 즐거운 대화를 지원하기 위한 필터링 및 실시간 경고 시스템을 강화합니다. 

실시간 채팅 문구 수정: '금지'에서 '안내'로 전환

많은 사용자에게 #####로 표시된 문구는 대화의 막다른 골목이 될 수 있으며, 커뮤니티 가이드라인을 준수하기 위해 표현을 어떻게 수정해야 할지에 대한 안내가 전혀 제공되지 않습니다. 이는 종종 혼란을 야기하고 게임 내 팀원 간의 협업을 어렵게 만들 수 있습니다. 누군가 친구에게 뒤에 괴물이 있다고 알리려고 “조심해! 네 뒤에 빌어먹을 괴물이 있어 아악!” 같은 메시지를 입력했다고 상상해 보세요. 친구는 “###########”만 보게 됩니다. 이는 전혀 도움이 되지 않습니다. 

오늘부터 필터링된 텍스트는 로블록스 사용자에게 여전히 자연스럽게 느껴지면서도 더 예의 바른 표현으로 변환됩니다. 출시 초기에는 이 실시간 재표현 기능이 욕설에 중점을 둡니다. 예를 들어, “Hurry tf up!”은 “Hurry up!”으로 바뀔 수 있으며, 이는 #####보다 원래 의도에 훨씬 더 가깝습니다. 분명히 말씀드리자면, 욕설 정책을 위반하는 메시지를 재표현하더라도 여전히 위반 사항이며 동일한 규칙이 적용됩니다. 채팅에서 계속해서 욕설을 시도하는 사용자는 정책을 반복적으로 위반한 것에 대해 동일한 제재를 받게 됩니다. 

이 시스템을 '정지 신호'가 아닌 '조향 장치'로 생각해 보세요. 메시지가 정책을 위반할 경우, 채팅에 참여한 모든 사용자에게 문장이 재표현되어 대화의 품위를 유지했다는 알림이 전송됩니다. 제한된 단어를 사용자가 일상적인 채팅에서 실제로 사용하는 표현과 매칭함으로써, 우리는 채팅의 진정성이나 흐름을 해치지 않으면서도 예의를 지키도록 돕습니다. 이러한 '정지 신호'를 실시간 안내로 대체함으로써, 우리는 불필요한 마찰을 줄이면서도 욕설 금지 규칙을 여전히 강화할 수 있습니다.

텍스트가 차단될 때 문장을 재구성하고 사용자에게 더 많은 맥락을 제공하는 기능은 아직 초기 단계입니다. 시간이 지남에 따라 다른 AI 번역 도구와 마찬가지로, 사용자의 원래 어조나 맥락을 보존하는 방식이 점점 더 정확해지고 미묘한 차이를 잘 살려낼 것입니다. 저희의 최우선 과제는 로블록스에서 안전하고 예의 바른 소통 방식을 구축하는 것이며, 이는 사용자가 저희의 기준을 익혀가는 과정에서 계속해서 정보를 제공하고, 교육하며, 안내하는 것을 최우선으로 합니다. 

문장 재구성 기능은 채팅 내 일부 혼란을 줄여주지만, 더 심각한 행동에 대해서는 다층적인 안전 시스템이 여전히 적용됩니다. 문장 재구성 기능은 '경험 내 채팅(in-experience chat)'에서만 이용 가능하며, 이는 연령 확인을 거친 유사 연령대의 사용자 및 그들의 '신뢰할 수 있는 연결(Trusted Connections)' 간에만 제공됩니다. 문장 재구성 기능은 현재 자동 번역 도구를 통해 제공되는 모든 언어에서 지원됩니다. 저희의 목표는 이 기능을 완전히 폐지할 수 있을 때까지 '###' 표시를 줄일 수 있는 수준의 정확도를 달성하여, 디지털 소통을 대면 대화만큼 자연스럽고 명확하게 만드는 것입니다.

이 기능을 개발하는 과정에서, 저희는 청소년 위원회(Teen Council) 위원들과 협의하여 청소년들이 실제로 대화하는 방식을 반영한 시스템을 구축했습니다. 위원회 위원인 소피아는 "실시간 재표현 기능으로 전환하면 대화의 흐름을 유지하면서도 모두의 안전을 지킬 수 있습니다. 이는 대화를 부드럽게 올바른 방향으로 이끌고, 사람들이 환영받는 느낌을 갖도록 돕습니다"라고 말했습니다. 

청소년 위원회 멤버 조딘도 이에 동의합니다. 조딘은 "이러한 변화는 플레이어들이 자신의 의사소통 방식을 되돌아보게 하고, 우호적인 관계를 조성함으로써 상호작용을 강화합니다."라고 말했습니다. "재표현 방식으로 전환함으로써, 플레이어의 요청과 필수적인 안전 기준 사이의 적절한 균형을 찾을 수 있게 됩니다."  

개선된 텍스트 필터: 패턴에서 문맥으로의 진화

로블록스에서 사용자들이 대화하는 방식에 부응하기 위해 안전 기능은 지속적으로 발전하고 있습니다. 당사의 텍스트 필터는 커뮤니티 가이드라인에 위배되는 모든 내용을 감지하고 차단하도록 학습되었습니다. 이는 사용자들이 대화하는 동안 전 세계적으로 실시간으로 이루어져야 합니다.

초기 이 시스템은 두 가지 구성 요소로 이루어져 있었습니다. 1) 현실 세계의 사건이 발생했을 때 몇 분 내에 규칙을 위반하는 콘텐츠를 탐지하고 차단하도록 설계된 규칙 기반 시스템. 2) 진화하는 언어 유형을 포함하도록 지속적으로 업데이트되는 시뮬레이션 및 실제 샘플 세트를 기반으로, 더 큰 모델에서 훈련된 일련의 특화 모델들. 

이러한 특수 모델들은 허용되지 않는 단어 목록을 찾는 것과 같은 특정 작업에는 매우 뛰어나지만, 추론 능력이 부족하여 진화하는 용어를 찾아내는 데는 적합하지 않습니다. 초대형 모델은 실시간으로 작동하지 않으며, 환각 현상(또는 오분류)으로 인해 오탐이 증가하는 경우가 많습니다. 

이번 업데이트에서 저희는 텍스트 필터 시스템에 새로운 세 번째 구성 요소를 도입했습니다. 이제 특화 모델이 특정 내용이 규칙을 위반하는지 확신할 수 없을 때, 더 나은 추론 능력과 더 넓은 맥락 파악 능력을 갖춘 초대형 모델로 해당 내용을 전달합니다. 이러한 대형 모델은 더 복잡한 결정을 내릴 수 있습니다. 

실험 결과, 이러한 통합 접근 방식이 필터 성능을 크게 향상시킨 것으로 나타났습니다. 이제 필터는 '리트 스피크(leet-speak, 문자를 숫자나 기호로 대체하는 방식)'나 필터를 우회하려는 더 정교한 시도를 더 잘 탐지할 수 있습니다. 완벽한 시스템은 없지만, 이번 최신 혁신을 통해 소셜 미디어 아이디나 전화번호와 같은 개인 정보를 공유하거나 요구하는 행위에 대한 오탐지(false negative) 발생률을 20배나 줄일 수 있게 되어 매우 기쁩니다.

이는 대담한 새로운 접근 방식이며, 항상 완벽하게 문구를 재구성할 수는 없을 것입니다. 하지만 우리는 앞으로 나아가며 계속해서 배우고 실험할 것이며, 장기적으로는 #####를 완전히 없애는 것을 목표로 삼아 사용자들이 채팅에서 마주치는 #####의 수를 지속적으로 줄여나갈 것입니다. 우리의 궁극적인 목표는 사용자들이 즐겁고 서로를 존중하는 방식으로 협업하고 소통할 수 있도록 돕는 것입니다.