Microsoft publie un outil pour tester la sécurité des IA génératives

Baptisé PyRIT, il est utilisé en interne par les équipes de Microsoft depuis plusieurs mois.

Microsoft a publié, le 22 février 2024, un outil de détection des risques liés aux IA génératives, baptisé Python Risk Identification Toolkit for generative AI (PyRIT). Les équipes de l’AI Red Team de Microsoft l’utilisent en interne depuis plusieurs mois, y compris sur Copilot, le chatbot de la firme de Redmond.

En un an, les chercheurs de Microsoft ont testé plus de 60 systèmes d’IA générative, en se mettant dans la peau de cybercriminels. La firme a constaté d’importantes différences dans les stratégies d’attaque, comparativement à un logiciel traditionnel ou à une IA classique. Tout d’abord, une IA générative cumule les risques cyber inhérents à tout SI et d’autres spécifiques à cette technologie, comme la possible génération de contenu malveillant ou de désinformation.

L’architecture des systèmes d’IA varie par ailleurs considérablement d’un modèle à l’autre. Microsoft pointe enfin qu’une même demande peut générer des résultats différents suivant les modèles, mais aussi suivant le contexte. Ces deux dernières problématiques complexifient considérablement la standardisation des tests de sécurité, imposant aux chercheurs une lourde charge de travail pour obtenir des résultats fiables.

Ce constat a présidé à la création de PyRIT, qui permet d’automatiser un maximum de tâches, et de réserver ainsi les équipes humaines aux actions les plus délicates. L’outil de Microsoft peut notamment envoyer des prompts malveillants à un modèle d’IA générative, et évaluer la réponse obtenue grâce à un outil de notation. PyRIT est alors en mesure de générer un nouveau prompt de test, en fonction de cette notation.

« Par exemple, dans l’un de nos exercices de red teaming sur un système Copilot, nous avons pu choisir une catégorie de préjudices, générer plusieurs milliers de prompts malveillants et utiliser le moteur de notation de PyRIT pour évaluer les résultats du système Copilot, le tout en quelques heures au lieu de plusieurs semaines », peut-on lire dans le communiqué de Microsoft.