Discours haineux et comportements agressifs, les nouveaux univers immersifs reproduisent, sans surprise, les dérives du monde réel. Jouant leur avenir, les plateformes mettent en place des stratégies de modération associant opérateurs humains et intelligence artificielle.

Dérapages nazis et risques de prédations pédophiles sur Roblox, cas de harcèlement sur Fortnite, accusation de viol virtuel sur Horizon Worlds de Meta… les débuts du métavers rappellent ceux du web 2.0 où la libération de la parole en ligne a dû rapidement être encadrée. Pour ne pas devenir un nouveau far west, les univers immersifs devront, eux aussi, rapidement renforcer leur stratégie de modération.

A ceci près qu’il ne s’agit pas ici de modérer uniquement les écrits comme sur les réseaux sociaux. Les nouveaux mondes virtuels sont multidimensionnels et pas seulement parce qu’ils sont conçus en 3D. Les plateformes doivent non seulement réguler les contenus échangés – conversations textuelles et audio – mais aussi les comportements des avatars.

Dans le cas de l’agression sexuelle subie par une chercheuse de l’ONG SumofUs, une vidéo montre des hommes se réunissant en bande, faisant circuler une bouteille de vodka avant de coincer la jeune femme dans une pièce. Avec ce type de dérive, le métavers pourrait vite devenir un espace d’insécurité pour les femmes et les minorités visibles, déjà principales victimes du harcèlement sur les réseaux sociaux.

La régulation, une question de survie pour les métavers

Au regard des enjeux business du métavers, la menace est prise très au sérieux par les plateformes. Des marques de luxe ou de sportwear comme Nike, Balenciaga ou Gucci y ont déjà élu domicile et pourraient repartir aussi vite si leur réputation se trouvait ternie par des contenus violents, sexistes ou haineux.

D’autant que le futur du métavers est prometteur. Aujourd’hui, Roblox, The Sandbox, Decentraland ou Horizon Worlds de Meta accueillent principalement une population de geeks rompus aux codes des jeux de rôle en ligne massivement multijoueur (MMORPG). Demain, les métavers seront plébiscités par monsieur et madame tout le monde. Le groupe Meta (ex Facebook) qui possède Facebook, Instagram et WhatsApp entend faire basculer ses milliards de membres dans ce monde nouveau.

Mais comment gérer les débordements d’une telle masse d’individus interagissant entre eux en temps réel ? Une mission « pratiquement impossible », reconnaît d’ores et déjà Andrew Bosworth, directeur technique de Meta, dans un note interne révélée par le Financial Times. Il qualifie pourtant le harcèlement dans le métavers comme « une menace existentielle » pour l’avenir de son groupe.

Pour l’heure, les plateformes ont mis en place des dispositifs déjà en vigueur dans les jeux vidéo en ligne de type League of Legends, comme la possibilité de signaler un comportement déplacé. Selon une approche de riposte graduée, le contrevenant se voit infligé un avertissement et, en cas de récidive, une expulsion temporaire ou définitive.

D’autres systèmes de protection plus originaux sont proposés aux utilisateurs comme la possibilité de mettre en sourdine un avatar agressif (mute), de s’isoler dans un endroit sûr (safe zone) ou de mettre en place un cordon de sécurité corporel (space bubble) pour empêcher des avatars d’entrer dans sa zone d’intimité.

« Aujourd’hui, l’effort de modération incombe avant tout à la victime de toxicité en ligne, déplore Stella Jacob, consultante en modération dans le métavers et auteure d’une thèse professionnelle sur le sujet. On retombe dans les travers du monde réel où la victime d’agressions doit s’effacer de l’espace public. »

Une modération à la Disney pour Meta

Relevant d’entreprises privées, la stratégie de modération diffère suivant la philosophie de la plateforme. Dans le même mémo dévoilé par le Financial Times, Andrew Bosworth indique vouloir appliquer chez Meta un degré de sécurité proche de ce que l’on pourrait connaître chez Disney. Les GAFAM devraient, en effet, imposer leur vision du monde empreint de puritanisme américain où des œuvres d’art sont censurées pour cause de nudité.

« D’autres plateformes comme The Sandbox sont davantage dans la philosophie du jeu en ligne avec une approche plus collaborative et libertaire », observe Hervé Rigault, président chez Netino by Webhelp, une agence de modération de contenus pour les communautés en ligne.

« Il s’agit, dans un mode de co-construction, de miser sur l’autorégulation et la pédagogie pour ne pas nuire à l’expérience utilisateur, poursuit-il. Un juste équilibre doit être trouvé entre sa liberté et celle des autres. Pas question de se mettre à dos la communauté. Pour être applicable, la politique de modération doit emporter l’adhésion de ses membres. »

Ensuite, la plateforme doit afficher clairement son positionnement et ses règles de bonne conduite afin de permettre à l’utilisateur d’entrer en toute connaissance de cause. A l’instar du système PEGI appliqué pour les jeux vidéo, un classement permettrait de définir des catégories en fonction de l’âge et de l’existence de contenus potentiellement violents ou choquants.

Des ambassadeurs pour encadrer les nouveaux venus

Pour The Sandbox, Netino by Webhelp joue la carte de la modération humaine en formant des « ambassadeurs ». Dans la phase d’onboarding, ces derniers rappellent les règles de bonne conduite aux nouveaux venus, résolvent leurs problèmes techniques. « Les premiers pas d’un avatar dans un univers immersif peuvent être compliqués, juge Hervé Rigault. Les ambassadeurs, issus du gaming ou du help desk, s’assurent ensuite que l’expérience utilisateur soit sûre et positive. »

L’effort de modération ne peut toutefois pas reposer que sur des hommes. Ils seront largement assistés par des modèles d’intelligence artificielle comme le proposent les Américains The Hive ou Spectrum Labs ou le Français Bodyguard.ai. Cette startup niçoise a levé, en mars, 9 millions d’euros pour adapter sa solution de modération en ligne au métavers. Elle se donne cinq ans pour réussir ce défi technique.

« Dans le métavers, filtrer des mots clés ne suffit plus, explique Charles Cohen, son PDG fondateur. Il faut pouvoir modérer en quasi-temps réel des contenus audio et vidéo en plusieurs langues mais aussi des comportements en les contextualisant afin de réduire autant que possible les faux positifs qui nuiraient à l’expérience utilisateur. »

De l’IA à tous les étages vs une approche communautaire

Progressant par étapes, Bodyguard.ai commencera par la modération des contenus audios. Les technologies de speech to text permettront, dans un premier temps, de convertir les contenus audios en texte à des fins d’analyse. « Il faudra, dans l’étape suivante, détecter l’intonation et l’intention de l’auteur, poursuit Charles Cohen. Adopte-t-il un ton humoristique ou sarcastique ? Dire « ferme ta gueule » à un ami ou à un inconnu n’a pas la même portée. »

Bodyguard.ai s’attaquera ensuite aux contenus vidéo en recourant aux technologies de machine learning. « Ce qui suppose d’entrainer les algorithmes sur un grand volume de vidéos en contextualisant les éléments présents à l’image. » Enfin, il s’agira de modéliser les comportements délictueux en analysant les mouvements des bras et des jambes d’un avatar ou ses déplacements dans le métavers.

Pour Stella Jacob, l’intelligence artificielle permet de dégrossir le travail des modérateurs humains. Elle rappelle toutefois que, l’IA peut être sujet à des biais et véhiculer elle-même des clichés racistes ou discriminatoires. Elle pose aussi la question du rôle du pouvoir exécutif, législatif ou juridique qui pourrait se supplanter à celui des plateformes. La commissaire européenne à la Concurrence Margrethe Vestager se dit déjà prête à réguler le métavers.

Stella Jacob milite, pour sa part, pour une approche communautaire avec une modération assurée par des utilisateurs bénévoles et indépendants de la plateforme, comme c’est le cas sur des serveurs Discord. « Il s’agit toutefois de s’interroger au préalable sur le profil de ces bénévoles, leur parcours, leurs orientations politiques, etc. »

La consultante regarde aussi avec intérêt les expérimentations en cours dans le domaine de la justice dite transformative ou restauratrice. Editeur de League of Legends, jeu en ligne connu pour la toxicité de ses échanges, Riot Games a mis en place un tribunal communautaire qui statue sur les réprimandes à prononcer pour les cas de toxicité en ligne. La personne qui est jugée reçoit le log de la conversation incriminée comme preuve. De quoi faire réfléchir…

Restez informés en temps réel
S'inscrire à
la newsletter
En fournissant votre email vous acceptez de recevoir la newsletter de Incyber et vous avez pris connaissance de notre politique de confidentialité. Vous pourrez vous désinscrire à tout moment en cliquant sur le lien de désabonnement présent dans tous nos emails.
Restez informés en temps réel
S'inscrire à
la newsletter
En fournissant votre email vous acceptez de recevoir la newsletter de Incyber et vous avez pris connaissance de notre politique de confidentialité. Vous pourrez vous désinscrire à tout moment en cliquant sur le lien de désabonnement présent dans tous nos emails.