Contenus intimes et IA : que faire face à la déferlante des contenus abusifs ?

Ces questions cruciales ont fait l’objet d’une table ronde lors du Forum InCyber 2024. Si ces vidéos truquées existent déjà depuis plusieurs années (deepfakes), l’arrivée des outils à base d’IA générative a largement contribué à amplifier le phénomène. Avec, à la clé, un défi supplémentaire : il est devenu quasi impossible de détecter à l’œil nu ce qui relève du vrai et du faux. Quant aux outils technologiques pour repérer ces nudes vidéo, David Hunter, VP Platform Trust & Safety chez Kroll Business, estime qu’ils sont encore en phase préliminaire.

Comment prévenir ?

Shailey Hingorani, directrice du Plaidoyer, des affaires publiques et de la recherche au sein de l’ONG WeProtect Global Alliance, travaille sur l’identification et les mécanismes de propagation de ces contenus qui, très fréquemment, ont tendance à d’abord cibler et toucher les plus jeunes générations. Pour elle, il est dommage que le corps sociétal ne se soit pas fermement préoccupé plus tôt de cette avalanche de vidéos illicites. La prévention, la régulation et la détection technologique ont désormais un temps de retard face à cette avalanche de contenus sexuels générés grâce à l’IA générative.

Directeur de Public, un cabinet de conseil britannique spécialisé en transformation numérique, Daniel Fitter abonde en ce sens. A ses yeux, l’IA générative a accéléré la diffusion de ces deepfakes pornographiques tout en générant de nouveaux problèmes. Une personne sans compétence particulière en informatique peut aisément fabriquer ce type de contenu à travers les dizaines de générateurs de fausses vidéos qui sont actuellement disponibles sur Internet. Sans même à avoir à aller fouiller sur le darkweb. Conséquence : cela abaisse les barrières technologiques et contribue à des diffusions à plus grande échelle.

Les plus jeunes sont concernés

David Hunter constate que les plus jeunes s’emparent également de ces outils faciles à manipuler pour fabriquer des contenus sexuels très réalistes, les propager et pour certains même, les monétiser sur certaines plateformes spécialisées. C’est précisément ce qui est arrivé en novembre 2023 au Westfield High School, un lycée situé dans le New Jersey (États-Unis). Au moins 30 lycéennes ont été victimes d’un étudiant qui a utilisé l’IA pour placer leurs visages sur des images pornographiques. Depuis, parents et proviseur ont engagé des poursuites juridiques.

Shailey Hingorani apporte toutefois un bémol qu’il convient de considérer en matière de prévention. Selon elle, la fabrication de ces contenus doit déterminer si les personnes mises en scène sont consentantes ou non. Même si cela peut surprendre les plus âgés, partager des nudes entre eux est un mode de communication existant entre adolescents. Celui-ci devient délétère à partir du moment où ce genre de contenu devient une menace exercée à l’encontre de la personne pour la faire chanter ou l’inciter à commettre des actes déviants non consentis.

La technologie comme recours ?

Au-delà de la nécessaire prévention et sensibilisation auprès des plus jeunes générations, les trois intervenants conviennent qu’il faut aussi explorer la voie technologique pour détecter et contrer cette inflation de contenus à caractère sexuel illicite. C’est là où les choses se corsent. Pour être efficace, il convient d’être en mesure de déployer des technologies au moins aussi sophistiquées (voire plus) que celles usitées par ceux qui les propagent. Cela supposerait que les éditeurs de générateurs de deepfakes laissent un accès et un contrôle de leurs bases de données où leurs IA s’entraînent. Ce qui est juridiquement très compliqué à mettre en œuvre.

Selon Daniel Fitter, le hashmatching peut constituer un outil de lutte efficace pour enrayer à la propagation virale de ces contenus. Lesquels continuent très souvent de circuler sur Internet bien des années plus tard, au détriment des victimes qui apparaissent dans ceux-ci. Concrètement, il s’agit d’une technologie qui repère des marqueurs numériques dans une vidéo (hachage) puis qui grâce à un algorithme, les confronte à une base de données de contenus sexuels répertoriés pour établir des correspondances (matching). En novembre 2023 au Royaume-Uni, le régulateur Ofcom a notamment édicté des règles pour que les plateformes publiques (non chiffrées) utilisent cette technologie pour repérer ces contenus à risque.

L’humain reste valable

Autre piste évoquée : le watermarking. A l’instar du filigrane inséré dans les billets de banque pour attester de leur authenticité, ce marquage numérique invisible permettrait d’identifier l’outil qui a servi à la fabrication d’un contenu (ou même la base de données sur laquelle l’IA générative apprend), voire retracer le chemin vers celui qui l’a réalisé avant sa diffusion grâce à une empreinte chiffrée qui est associée à l’émetteur. Néanmoins, cette traçabilité, pour utile qu’elle soit, ne résout pas tout et peut aussi se heurter à des contraintes réglementaires.

Les trois participants de la table ronde ont été en tout cas unanimes pour convenir qu’au-delà de l’arsenal technologique auquel il faut recourir de manière multimodale, la modération humaine demeure malgré tout essentiel pour lutter contre la prolifération des contenus sexuels illicites. Il relève de la responsabilité des plateformes et des messageries qui permettent l’acheminement et le partage desdits contenus. A cet égard et même s’il s’agit du sujet des élections à venir en 2024 dans le monde, on peut signaler l’avancée notable effectuée par une vingtaine d’entreprises, dont Google, Meta et OpenAI. Celles-ci se sont accordé sur des principes communs pour limiter les risques d’utilisation malveillante de contenus générés par intelligence artificielle.

Il n’est pas interdit de rêver que pareille coalition puisse à terme voir le jour pour lutter contre les contenus sexuels abusifs et mieux protéger les plus jeunes générations. Le défi est immense, selon David Hunter. Pour lui, la technologie évolue tellement rapidement qu’il est essentiel de se mettre au diapason pour répliquer efficacement.