Messung kausaler Effekte ziviler Kommunikation ohne Randomisierung
Author
Venue
AAAI ICWSM 2024
Abstract
Das Verständnis der kausalen Auswirkungen von Höflichkeit ist für die Analyse der sozialen Online-Kommunikation von entscheidender Bedeutung, doch die Messung von Kausalität ist schwierig. A/B-Tests und andere randomisierte Experimente gelten als Goldstandard für die Ermittlung kausaler Effekte, sind in diesem Kontext jedoch nicht anwendbar, da 1) das Höflichkeitsniveau in einem Experiment nicht kontrolliert werden kann und, was noch wichtiger ist, 2) ethische Bedenken gegen eine absichtliche Randomisierung des Höflichkeitsniveaus bestehen. Wir entwickeln einen neuartigen quasi-experimentellen Ansatz, um den kausalen Effekt von Höflichkeit in Online-Communities auf der sozialen 3D-Plattform Roblox zu quantifizieren, ohne dass eine explizite Randomisierung erforderlich ist. Diese Methode nutzt die verbleibende Stochastizität bei der „Matchmaking“-Zuweisung von Nutzern zu Servern als quasi-randomisierten Mechanismus in historischen Beobachtungsdaten. Wir stellen fest, dass die Zuweisung eines Nutzers zu einem Server mit einem höheren Niveau an höflicher Kommunikation die Verweildauer in bestimmten Erfahrungen um bis zu 1,5 % erhöhen könnte. Angesichts der 4,8 Milliarden Personenstunden, die monatlich auf der Plattform verbracht werden, bedeutet dies eine potenzielle Zunahme von über 8.000 Personenjahren an sozialer Interaktion jeden Monat. Darüber hinaus wird dieser Effekt durch nicht-kausale Methoden falsch eingeschätzt. Quasi-experimentelle Ansätze versprechen neue Wege zur Messung der kausalen Auswirkungen von Nutzerverhalten in Online-Communities, ohne die Nutzer durch randomisierte Experimente zu beeinträchtigen.
