Inside the Tech - La sicurezza nelle comunicazioni vocali immersive
L'evoluzione degli avatar di Roblox
Con Kiran Bhat, Direttore senior del reparto Ingegneria, Mahesh Ramasubramanian, Direttore senior del reparto Prodotti, ed Effie Goenawan, Responsabile principale di prodotto
Il direttore senior dell'ingegneria Kiran Bhat, il direttore senior del prodotto Mahesh Ramasubramanian e la responsabile principale del prodotto Effie Goenawan si uniscono al CEO David Baszucki per uno sguardo al futuro della comunicazione immersiva attraverso gli avatar e alle sfide tecniche che stiamo affrontando per renderla possibile. Discuteranno in modo approfondito di come gli avatar espressivi non solo ci consentano di esprimerci digitalmente, ma anche di comunicare in modo più immersivo attraverso la voce, le espressioni facciali e il linguaggio del corpo.
Quali sono le principali sfide tecniche che il vostro team sta affrontando?
La nostra priorità è garantire un'esperienza sicura e positiva ai nostri utenti. La sicurezza e la civiltà sono sempre al primo posto per noi, ma gestirle in tempo reale può rappresentare una grande sfida tecnica. Ogni volta che si verifica un problema, vogliamo essere in grado di esaminarlo e intervenire in tempo reale, ma questo è difficile date le nostre dimensioni. Per gestire efficacemente questa portata, dobbiamo sfruttare sistemi di sicurezza automatizzati.
Un'altra sfida tecnica su cui ci stiamo concentrando è l'accuratezza delle nostre misure di sicurezza per la moderazione. Esistono due approcci di moderazione per affrontare le violazioni delle politiche e fornire un feedback accurato in tempo reale: la moderazione reattiva e quella proattiva. Per la moderazione reattiva, stiamo sviluppando modelli di machine learning (ML) per identificare con precisione diversi tipi di violazioni delle politiche, che funzionano rispondendo alle segnalazioni degli utenti sulla piattaforma. A livello proattivo, stiamo lavorando al rilevamento in tempo reale di potenziali contenuti che violano le nostre politiche, educando gli utenti sul loro comportamento. Comprendere la parola parlata e migliorare la qualità audio è un processo complesso. Stiamo già vedendo dei progressi, ma il nostro obiettivo finale è quello di avere un modello altamente preciso in grado di rilevare in tempo reale i comportamenti che violano le nostre politiche.
Quali sono alcuni degli approcci e delle soluzioni innovative che stiamo utilizzando per affrontare queste sfide tecniche?
Abbiamo sviluppato un modello di ML end-to-end in grado di analizzare i dati audio e fornire un livello di confidenza basato sul tipo di violazione delle politiche (ad esempio, quanto è probabile che si tratti di bullismo, volgarità, ecc.). Questo modello ha migliorato significativamente la nostra capacità di chiudere automaticamente determinate segnalazioni. Interveniamo quando il nostro modello è sicuro e possiamo essere certi che superi le prestazioni umane. Nel giro di pochi mesi dal lancio, siamo stati in grado di moderare quasi tutte le segnalazioni di abuso vocale in inglese con questo modello. Abbiamo sviluppato questi modelli internamente e ciò testimonia la collaborazione tra molte tecnologie open source e il nostro lavoro per creare la tecnologia alla base.
Determinare cosa sia appropriato in tempo reale sembra piuttosto complesso. Come funziona?
È stata dedicata molta attenzione a rendere il sistema sensibile al contesto. Esaminiamo anche i modelli nel tempo prima di intervenire, in modo da essere certi che le nostre azioni siano giustificate. Le nostre politiche sono sfumate a seconda dell'età di una persona, del fatto che si trovi in uno spazio pubblico o in una chat privata e di molti altri fattori. Stiamo esplorando nuovi modi per promuovere la civiltà in tempo reale e il ML ne è il fulcro. Recentemente abbiamo lanciato notifiche push automatiche per ricordare agli utenti le nostre politiche. Stiamo anche esaminando altri fattori come il tono di voce per comprendere meglio le intenzioni di una persona e distinguere cose come il sarcasmo o le battute. Infine, stiamo anche sviluppando un modello multilingue poiché alcune persone parlano più lingue o addirittura cambiano lingua nel bel mezzo di una frase. Affinché tutto questo sia possibile, dobbiamo disporre di un modello accurato.
Attualmente, ci stiamo concentrando sulle forme più diffuse di abuso, come le molestie, la discriminazione e le parolacce. Queste costituiscono la maggior parte delle segnalazioni di abuso. Il nostro obiettivo è avere un impatto significativo in questi ambiti e definire gli standard del settore su come promuovere e mantenere una conversazione online civile. Siamo entusiasti del potenziale dell'uso del ML in tempo reale, poiché ci consente di promuovere efficacemente un'esperienza sicura e civile per tutti.
In che modo le sfide che stiamo affrontando in Roblox sono uniche? Quali sono le prime che siamo in grado di risolvere?
La nostra tecnologia Chat with Spatial Voice crea un'esperienza più immersiva, imitando la comunicazione del mondo reale. Ad esempio, se mi trovo alla sinistra di qualcuno, questa persona mi sentirà nell'orecchio sinistro. Stiamo creando un analogo di come funziona la comunicazione nel mondo reale e questa è una sfida che siamo in grado di risolvere per prima.
Essendo io stesso un giocatore, ho assistito a molti episodi di molestie e bullismo nei giochi online. È un problema che spesso passa inosservato a causa dell'anonimato degli utenti e della mancanza di conseguenze. Tuttavia, le sfide tecniche che stiamo affrontando in questo ambito sono uniche rispetto a quelle che altre piattaforme devono affrontare in alcuni settori. Su alcune piattaforme di gioco, le interazioni sono limitate ai compagni di squadra. Roblox offre una varietà di modi per socializzare in un ambiente che imita più da vicino la vita reale. Grazie ai progressi nel machine learning e nell'elaborazione dei segnali in tempo reale, siamo in grado di rilevare e affrontare efficacemente i comportamenti offensivi, il che significa che non solo offriamo un ambiente più realistico, ma anche uno in cui tutti si sentono al sicuro nell'interagire e connettersi con gli altri. La combinazione della nostra tecnologia, della nostra piattaforma immersiva e del nostro impegno nell'educare gli utenti sulle nostre politiche ci mette in una posizione tale da poter affrontare queste sfide a testa alta.
Quali sono alcune delle cose fondamentali che hai imparato svolgendo questo lavoro tecnico?
Mi sembra di aver imparato davvero molto. Non sono un ingegnere di ML. Ho lavorato principalmente sul front-end nel settore dei giochi, quindi il solo fatto di poter approfondire il funzionamento di questi modelli è stato fondamentale. La mia speranza è che le azioni che stiamo intraprendendo per promuovere la civiltà si traducano in un livello di empatia nella comunità online che finora è mancato.
Un'ultima lezione è che tutto dipende dai dati di addestramento che si inseriscono. E affinché i dati siano accurati, gli esseri umani devono concordare sulle etichette utilizzate per classificare determinati comportamenti che violano le politiche. È davvero importante addestrare il sistema su dati di qualità su cui tutti possano essere d'accordo. È un problema davvero difficile da risolvere. Si iniziano a vedere aree in cui il ML è molto più avanti rispetto a tutto il resto, e poi altre aree in cui è ancora nelle fasi iniziali. Ci sono ancora molte aree in cui il ML è in fase di crescita, quindi è fondamentale essere consapevoli dei suoi limiti attuali.
A quale valore di Roblox si allinea maggiormente il vostro team?
Il rispetto della comunità è il nostro valore guida in tutto questo processo. Innanzitutto, dobbiamo concentrarci sul miglioramento della civiltà e sulla riduzione delle violazioni delle politiche sulla nostra piattaforma. Questo ha un impatto significativo sull'esperienza complessiva dell'utente. In secondo luogo, dobbiamo valutare attentamente come implementare queste nuove funzionalità. Dobbiamo prestare attenzione ai falsi positivi (ad esempio, contrassegnare erroneamente qualcosa come abuso) nel modello ed evitare di penalizzare in modo errato gli utenti. È fondamentale monitorare le prestazioni dei nostri modelli e il loro impatto sul coinvolgimento degli utenti.
Cosa ti entusiasma di più riguardo alla direzione che stanno prendendo Roblox e il tuo team?
Abbiamo compiuto progressi significativi nel miglioramento della comunicazione vocale pubblica, ma c'è ancora molto da fare. La comunicazione privata è un'area entusiasmante da esplorare. Penso che ci sia un'enorme opportunità per migliorare la comunicazione privata, per consentire agli utenti di esprimersi con gli amici più stretti, di effettuare una chiamata vocale tra un'esperienza e l'altra o durante un'esperienza mentre interagiscono con i propri amici. Penso che ci sia anche l'opportunità di promuovere queste comunità con strumenti migliori per consentire agli utenti di auto-organizzarsi, unirsi alle comunità, condividere contenuti e idee.
Man mano che continuiamo a crescere, come possiamo scalare la nostra tecnologia di chat per supportare queste comunità in espansione? Stiamo solo sfiorando la superficie di ciò che possiamo fare e penso che ci sia la possibilità di migliorare la civiltà della comunicazione e della collaborazione online in tutto il settore in un modo che non è mai stato fatto prima. Con la tecnologia giusta e le capacità di ML, siamo in una posizione unica per plasmare il futuro della comunicazione online civile.
