La sécurisation de l’IA générative entre encadrement, gouvernance et responsabilité collective

L’utilisation de l’IA en entreprise ne cesse d’augmenter. Dans cette dernière enquête menée par McKinsey fin 2024 (McKinsey Global Surveys on the state of AI), 78 % des personnes interrogées déclarent que leur organisation emploie l’IA dans au moins une fonction de l’entreprise, contre 72 % début 2024 et 55 % un an plus tôt. Du côté de l’IA générative, l’usage a connu un bond similaire depuis début 2024 : 71% des répondants déclarent que leur organisation la met régulièrement en œuvre dans au moins une de ses fonctions, contre 65 % début 2024.

Dans le même temps, seulement 11 % des entreprises ont entièrement déployé les composantes fondamentales de la gouvernance responsable de l’IA, telles que la gestion des risques, la gouvernance des données, les audits de modèles et la supervision continue, selon une enquête menée auprès de 1 001 dirigeants par PwC.

“En matière d’IA générative, il faut faire la distinction entre les risques non malveillants et les attaques intentionnelles. Les caractéristiques intrinsèques des algorithmes de machine learning et des réseaux de neurones font que des erreurs (hallucinations…) peuvent survenir à tout moment et que le niveau d’explicabilité n’est pas toujours au rendez-vous. En parallèle de cela, il existe aujourd’hui des milliers d’articles de recherche décrivant des attaques contre l’IA générative : empoisonnement de données, insertion de portes dérobées, attaques par exemples contradictoires (adversarial examples attacks), attaques par injection d’invites (prompt injection)… Les entreprises doivent se préparer dès maintenant à ces nouvelles techniques malveillantes”, déclare Vincent Maret, Associé chez KPMG France.

Au-delà des attaques cybercriminelles, le risque lié aux données personnelles

“Une autre forme de risque existe, plus insidieuse, qui touche à la donnée elle-même, à sa nature et à sa sensibilité”, note Imane Dahou, Manager cybersecurity & data protection au sein du cabinet de conseil SIA. En décembre 2024, le Comité européen de la protection des données (CEPD), qui réunit les CNIL européennes, a adopté un avis sur le traitement de données personnelles pour le développement et le déploiement de modèles d’IA. Pour le CEPD, tous les modèles d’IA ne sont pas anonymes par nature. Le CEPD considère en effet que les modèles d’IA entraînés à partir de données personnelles ne peuvent pas par principe être considérés comme anonymes, et que cette appréciation doit se faire au cas par cas. 

Pour qu’un modèle soit considéré comme anonyme, il doit être très peu probable d’identifier directement ou indirectement les personnes dont les données ont été utilisées pour créer le modèle, et d’obtenir des données personnelles du modèle par le biais de requêtes. Ce risque provient de ce que les experts appellent la “mémorisation de données d’entraînement” par un modèle d’IA. Cette mémorisation a lieu lorsque le modèle apprend des informations spécifiques à l’ensemble ou à une partie des données d’entraînement de manière accidentelle (surapprentissage) ou non. Elle est caractérisée par la possibilité de reconstruire, au moins partiellement, des données d’entraînement par une attaque (telle qu’une attaque par inférence d’appartenance) ou par son utilisation normale (comme dans le cas de la régurgitation pour les IA génératives). 

“Par défaut, il faut pouvoir montrer que le modèle possède un certain niveau de sécurité. Les mesures de sécurité prises pour un modèle informent la qualification juridique de ce dernier. Cela signifie qu’un modèle très bien sécurisé peut sortir du champ d’application du RGPD, mais cela n’est en aucun cas systématique”, commente Charlotte Barot, Analyste au sein de la CNIL.

La normalisation pour réconcilier innovation et démarche responsable

Face à ces enjeux, la normalisation apparaît comme un levier de confiance. Richard Julien, Digital Trust Partner au sein de BSI (British Standard Institution), insiste sur le rôle structurant des normes. « Une de nos premières missions est de réconcilier les entreprises et leur pratique des risques avec la normalisation […] Les normes ont vocation à standardiser une approche. Chez BSI, nous avons beaucoup travaillé sur l’IA, en amont de l’AI Act, mais aussi avec des autorités comme la CNIL et des entreprises. Les normes ont pour but de protéger les organisations, de les aider à gouverner et anticiper les risques nouveaux, tout en devenant résilientes« , explique-t-il.

ISO 42001 est une norme internationale qui spécifie les exigences pour l’établissement, la mise en œuvre, la tenue à jour et l’amélioration continue d’un système de management de l’intelligence artificielle (SMIA) au sein d’un organisme. Elle aborde les défis spécifiques à l’IA, notamment les considérations éthiques, la transparence et l’apprentissage continu. “La norme ISO 42001 s’adresse à toutes les organisations, qu’elles soient qualifiées ‘à haut risque’ de par leur activité, ou de simples PME/TPE et start-ups voulant démontrer que leur trajectoire d’innovation s’inscrit dans une démarche responsable. Elle constitue également un levier d’interopérabilité entre entreprises au niveau supranational, afin de proposer des produits à la hauteur des attentes et exigences des consommateurs”, complète Richard Julien.

Une mise en pratique intégrée au sein de Zalando

Dès le lancement en novembre 2022 de ChatGPT, Florence Mottay, CISO de Zalando Group, a engagé un travail mêlant innovation et sécurité, en collaboration étroite avec les entités métier. « Très rapidement, l’idée de créer un assistant mode proposant des conseils personnalisés à nos utilisateurs a germé. Mais nous nous sommes rapidement rendu compte que nous faisions face à de nouveaux risques de sécurité propres à l’IA générative. Nous avons ainsi classé 85 000 prompts en deux catégories : ‘business’ ou ‘malveillant’ afin d’identifier tous les problèmes potentiels« , précise-t-elle.

Cette gouvernance collective est par la suite devenue un réflexe, avec la mise en œuvre en interne d’un processus transverse associant juristes, data scientists et experts cybersécurité. « Aujourd’hui, si vous êtes un salarié de Zalando et que vous voulez lancer une expérimentation impliquant l’IA générative, une méthodologie a été créée et nous sommes là pour vous accompagner. C’est une situation gagnant-gagnant où nous promouvons l’innovation tout en assurant une gouvernance claire« , résume-t-elle.