Modération en ligne : comment encadrer légalement la haine et les contenus nuisibles ?

Qu’est-ce qu’un contenu nuisible ?

Le régulateur britannique de la sécurité en ligne (Ofcom) définit la haine en ligne comme du contenu haineux dirigé contre un groupe de personnes en fonction d’une caractéristique protégée. Les caractéristiques protégées incluent :

• Le handicap,
• Le genre,
• La race,
• La religion ou les croyances,
• L’orientation sexuelle,
• Le fait d’être une personne transgenre.

Les plateformes s’appuient sur des « lignes directrices communautaires » pour définir ce qui est toléré ou proscrit, mais ces règles sont-elles vraiment appliquées avec nuance ? Les points clés ici sont que tout commentaire ou publication est « directement ciblé sur une personne et/ou une caractéristique protégée ». À première vue, ces lignes directrices semblent claires. Cependant, lorsqu’on analyse le contenu en détail, est-il aussi simple pour les modérateurs de prendre une décision sans comprendre le contexte ?

La sécurité des jeunes en ligne 

La protection des jeunes en ligne reste une priorité, mais la gestion des contenus nuisibles à leur égard soulève de nombreux défis. Un modérateur peut-il raisonnablement déterminer si un profil appartient à un enfant ou à un adulte sans
« enquêter » sur ce profil ? Les modérateurs externalisés n’ont souvent que 8 à 10 secondes pour trancher sur un contenu. Comment pourraient-ils, en plus, analyser un profil utilisateur ? Cela en tenant compte de plusieurs facteurs :

• L’exactitude de l’âge ou de la date de naissance sur le profil.
• La légalité du contenu en fonction des lois locales.
• Qui décide de ce qui est nuisible ou non pour les jeunes à voir ou à publier ?
• Ce qui est considéré comme « haineux/abusif » entre jeunes (par exemple dans un groupe scolaire), sachant que ce type de comportement est également courant hors ligne.

Exemples pratiques

Par exemple, deux amis supporters de clubs de football opposés regardent un match intense et discutent en ligne. En raison de la passion pour ce sport et du fait qu’ils se connaissent, la conversation peut vite devenir « animée », et teintée de propos haineux ou abusifs. Ce qui pourrait n’être qu’une « taquinerie » ou une « rivalité amicale » entre amis risque d’être interprété par un algorithme comme du contenu abusif. Sans contexte, un modérateur devra se baser sur les politiques de la plateforme.
Est-il juste de sanctionner ces utilisateurs pour une taquinerie amicale ?
L’intelligence artificielle pourrait-elle interpréter correctement ce contexte ?

Contexte culturellement sensible

Un autre cas délicat concerne un mot chargé d’histoire, souvent lié aux communautés de couleur et commençant par « N ». Ce mot est culturellement sensible. On l’entend dans des chansons, des films et des émissions de télévision. Cependant, il peut aussi être considéré comme offensant, haineux et abusif. Dans certaines communautés, il est utilisé comme un terme désignant « mon frère ». Par conséquent, si ce mot est utilisé en ligne et adressé à un individu, un modérateur devrait-il lire l’intégralité d’une conversation pour essayer d’en déterminer le contexte ? Cela enfreindrait-il les règles de confidentialité ? Le modérateur aurait-il le « droit » de prendre une telle décision, ou cela dépendrait-il entièrement de la perspective personnelle ?
Une plateforme pourrait-elle ou devrait-elle décider d’interdire ce mot en tant que terme offensant et abusif, bien qu’il soit également utilisé comme une expression d’affection et soit largement répandu sous d’autres formes ?

Contenu légal ou illégal ?

Même dans les cas de contenus plus graves, comme ceux liés à l’exploitation et aux abus sexuels d’enfants (CSEA), il existe des ambiguïtés. Un exemple éloquent est celui des contenus d’animés ou de mangas. Dans certains pays, ils sont illégaux, tandis que dans d’autres, ils sont légaux.
Un des critères clés est qu’« une personne raisonnable doit pouvoir déterminer si l’image ressemble à un enfant ». Mais cette définition, loin d’être figée, reste sujette à interprétation. À quel moment une image cesse-t-elle de ressembler à un enfant ? L’ajout d’une queue, de doigts supplémentaires ou d’une peau de couleur différente modifie-t-il cette perception ? Pourtant, les traits visuels (visage, corps, etc.) peuvent toujours sembler enfantins.

Comment définir le contexte ?

Ce qui est nuisible pour un utilisateur peut ne pas l’être pour un autre. Tout dépend de l’interprétation et de la sensibilité individuelle face à un contenu. Certains utilisateurs se contentent de « bloquer » une personne offensante sans aller plus loin. D’autres ressentent le besoin de signaler le contenu, non seulement à la plateforme, mais aussi à d’autres agences.

Ajoutons à cela que les modérateurs opèrent dans un environnement global, avec des langues, des lois et des termes d’argot localisés différents. Par exemple, au Royaume-Uni, un utilisateur de Liverpool pourrait utiliser un terme d’argot offensant envers une personne de Londres. L’utilisateur de Liverpool sait que ce terme est offensant, mais celui de Londres ne le comprend pas. Comment cela peut-il être modéré ? Attend-t-on des modérateurs basés dans d’autres pays qu’ils connaissent ces expressions ?

Problèmes réglementaires mondiaux

Nous savons que certains pays ont des lois très strictes concernant certains sujets qui peuvent ou non être mentionnés de manière négative, ou sur ce qui est considéré comme un contenu abusif. Peut-on raisonnablement exiger des modérateurs qu’ils maîtrisent toutes les lois locales, en constante évolution, pour chaque pays ? Une plateforme basée principalement dans un pays devrait-elle avoir le pouvoir de décider ce qui est considéré comme un contenu acceptable ou non dans un autre pays, ou des évaluations devraient-elles être menées sur certains sujets afin d’offrir un examen indépendant plus clair ?

Comment se déroule la formation sur les plateformes en ce qui concerne la haine et les abus ? Cela diffère-t-il de la formation donnée sur des sujets comme la CSEA (exploitation et abus sexuels sur enfants) ou le contenu lié au terrorisme, qui peuvent être plus évidents et/ou basés sur des images ?
Cette confusion et l’évaluation rapide peuvent-elles avoir un impact accru sur la santé mentale et le bien-être des modérateurs ?

Et maintenant ?

Les termes « abus en ligne » et « haine » sont souvent employés comme des concepts fourre-tout. Nous pensons que cela devrait être simple et direct à gérer de quelque manière que ce soit. Cependant, tant que nous n’aurons pas une réponse définitive à ce que la « société mondiale » considère comme inacceptable, les modérateurs auront une bataille constante pour comprendre l’environnement et le contexte.

Ces derniers jours, nous assistons à un changement dans les politiques de modération de Meta concernant certains contenus. Cela soulève déjà une multitude de préoccupations, notamment de la part de certains groupes identifiés. La question de la liberté d’expression se pose également : qui décide de ce que nous pouvons dire ou publier ? Cette nouvelle approche va même à l’encontre de certaines des nouvelles réglementations mises en place à l’échelle mondiale.

Solutions potentielles

Existe-t-il une solution miracle ? Rien n’est moins sûr.
Devons-nous ou devrions-nous avoir une modération adaptée à chaque pays ?
Les plateformes vont-elles simplement se contenter de payer les amendes imposées par un régulateur ?
Quelles seraient les autres implications légales ?
Allons-nous assister à une augmentation de la haine et des abus en ligne, alors même que le discours porte sur la création d’un environnement en ligne plus sûr ?

Les outils logiciels se multiplient pour détecter haine et abus, mais leur efficacité reste limitée dès qu’il s’agit de comprendre le contexte.
Dans quelle mesure la technologie de l’intelligence artificielle pourra-t-elle comprendre le contexte, alors que nous, en tant qu’êtres humains, n’avons pas toujours le luxe de le faire ?

Avons-nous besoin de nous réunir tous pour des discussions ouvertes, honnêtes et approfondies afin de déterminer clairement ce qui est et n’est pas autorisé, et de faire respecter ces règles dans tout l’écosystème numérique ? Ainsi, modérateurs et utilisateurs sauront clairement ce qu’ils peuvent publier.

La solution passe par une combinaison de technologies d’intelligence artificielle, de discussions ouvertes et honnêtes, de collaborations, de partage d’informations, de formations, d’éducation et de modération humaine pour nous permettre de lutter efficacement contre ces contenus nuisibles.