Safety & Civility
Data Science
무작위 배정 없이 시민 소통의 인과적 효과 측정
Author
Venue
AAAI ICWSM 2024
Abstract
온라인 사회적 소통을 분석할 때 예의 바른 태도의 인과적 효과를 이해하는 것은 매우 중요하지만, 인과성을 측정하는 것은 어렵습니다. A/B 테스트 및 기타 무작위 실험은 인과적 효과를 입증하는 데 있어 황금 표준이지만, 1) 실험에서 예의 바른 태도의 수준을 통제할 수 없다는 점, 그리고 더 중요한 것은 2) 예의 바른 태도의 수준을 의도적으로 무작위화할 때 발생하는 윤리적 제약으로 인해 이러한 방법들은 본 연구 환경에서는 적용할 수 없습니다. 우리는 명시적인 무작위 배정이 필요 없이 Roblox 소셜 3D 플랫폼 내 온라인 커뮤니티에서 예의 바름의 인과적 효과를 정량화하기 위한 새로운 준실험적 접근법을 개발했다. 이 방법은 관측 역사 데이터에서 사용자를 서버에 배정하는 "매치메이킹" 과정의 잔여 확률성을 준무작위화 메커니즘으로 활용한다. 우리는 사용자를 예의 바른 의사소통 수준이 더 높은 서버에 배정할 경우, 특정 경험에서 참여 시간이 최대 1.5%까지 증가할 수 있음을 발견했다. 플랫폼에서 매월 소비되는 48억 인시(person-hours)를 고려할 때, 이는 매월 8,000인년 이상의 사회적 상호작용이 잠재적으로 증가할 수 있음을 의미한다. 게다가, 이러한 효과는 비인과적 방법으로는 과소평가된다. 준실험적 접근법은 무작위 실험을 통해 사용자에게 부정적인 영향을 미치지 않으면서도 온라인 커뮤니티 내 사용자 행동의 인과적 영향을 측정할 수 있는 새로운 길을 제시한다.
