La résilience des IA, un enjeu clé pour les systèmes critiques des entreprises

« À la SNCF, nous n’avons pas le droit à l’erreur pour tout ce qui touche à la sécurité des voyageurs et des collaborateurs » », souligne Henri Pidault, directeur des systèmes informatiques du groupe, lors d’une table ronde au Forum InCyber 2024 à Lille. Tous les systèmes de la SNCF « doivent fonctionner parfaitement », en permanence.

Si l’enjeu de sécurité est évident pour une grande entreprise de transport (ferroviaire, aérienne…), tous les secteurs d’activité sont en fait concernés, directement ou indirectement.
« Un site d’e-commerce qui tomberait à cause d’une faille dans un système d’IA entrainerait une grosse perte de chiffre d’affaires pour l’entreprise », note Frédéric Daurelle, architecte sécurité chez Salesforce.

« Il n’y a pas que les machines, il y a aussi les données qui peuvent être au coeur de métier d’une entreprise : si ces données sont perdues, volées, transformées ou rendues inaccessibles, l’entreprise peut souffrir, voire périr », avertit Hakim Loumi, Data & AI Security Senior Project manager chez Oracle.

À la SNCF, qui a développé ses propres SLM (small language model) depuis plusieurs années pour l’aide à la maintenance des trains par les techniciens, « ce qu’on veut éviter, c’est les « boîtes noires », c’est à dire qu’on veut comprendre comment l’IA a sorti un résultat », explique Henri Pidault. « On ne peut pas tolérer des hallucinations de l’IA dans nos systèmes critiques ».

« Nous avons donc développé des moteurs d’inférence qui permettent de vérifier que le résultat donné par l’IA est juste, c’est-à-dire réponde à des règles », précise-t-il.

Pour un système d’IA générative, il est important de respecter un certain nombre d’étapes lors de l’élaboration, afin d’en assurer la résilience, explique Hakim Loumi : « le choix des données, l’entraînement des modèles de fondations, la spécialisation ou « fine tunning » de ces modèles, puis l’exploitation ».

Chacune de ces étapes génère plusieurs problématiques, poursuit M. Loumi. D’abord une « problématique de gouvernance » : « qui choisit les données ? Pourquoi ? Dans quel but ? Pourquoi ces données plutôt que d’autres ? On n’est pas seulement dans la technologie pure », il faut faire attention aux biais. « Ensuite l’entraînement : le modèle est-il suffisamment entraîné, sur de bonnes machines, pendant assez longtemps, qui vérifie si on est dans des systèmes supervisés ? En somme, qui va valider qu’un chat est un chat ? »

L’humain doit rester au contrôle

Une fois le modèle créé, le fine tunning permet de « garantir que les données utilisées vont rester confidentielles, sans risque d’être diffusées à un tiers et dévoiler des secrets industriels ».

« Enfin, l’exploitation. Si on met l’IA dans un système embarqué, comme une voiture autonome, et que des hackers ont inséré de fausses données dans une des phases, la voiture pourrait faire autre chose qu’attendu ! » avertit M. Loumi. On peut projeter un tel scénario sur d’autres secteurs : la comptabilité, avec des possibilités de fraudes, la santé, avec la recherche de nouveaux médicaments… « L’IA peut présenter d’énormes atouts, mais il faut être très rigoureux sur chacune des étapes pour s’assurer de sa transparence et de sa résilience », insiste M. Loumi.

L’IA peut présenter d’énormes atouts, mais il faut être très rigoureux sur chacune des étapes pour s’assurer de sa transparence et de sa résilience

Hakim Loumi, Data & AI Security Senior Project manager chez Oracle.

Pour autant, si on veut profiter du potentiel de l’IA, il ne faut pas trop brider sa créativité, remarque Henri Pidault. La SNCF réfléchit ainsi à mettre en place une IA pour la planification des « sillons » (le parcours des trains sur son réseau), un domaine jusque là assuré par des techniciens. Une problématique complexe, avec une multitude de données, ou l’IA pourrait trouver des résultats nouveaux. « On veut garder l’équivalent de l’imagination humaine, mais en assurant une sécurité maximum », explique M. Pidault.

Il faut donc mettre en place des règles strictes de déontologie, de sûreté, et aussi remettre régulièrement en question les résultats de l’IA. À l’instar de nombreux scientifiques, Frédéric Daurelle le rappelle, « l’humain doit rester au contrôle, et garder la décision finale ».
Mais les entreprises disposent-elles des compétences pour développer des IA résilientes ?
« Il y a des entreprises qui utilisent l’IA depuis longtemps, d’autres qui observent encore », note Hakim Loumi. « Des entreprises qui embauchent et se forment, d’autres qui sont dans l’expectative. On est à l’âge du Far West ! »

« Il y a aussi des différences à l’intérieur des entreprises, précise Frédéric Daurelle. « Les services marketing sont enthousiastes sur l’IA, les services juridiques inquiets ».

« L’IA va s’imposer dans tous les métiers ; chaque métier doit définir ce qu’il peut faire avec l’IA, en évaluer les risques, et se l’approprier », estime Henri Pidault.

« L’awareness (prise de conscience) va être la clé, conclut Frédéric Daurelle, il s’agit pour chacun de comprendre les enjeux de sécurité et d’éthique ».