Les États-Unis publient des outils dédiés à la sécurité de l’IA générative

Le ministère américain du Commerce a publié, fin juillet 2024, trois guides de recommandations et un logiciel de test dédiés à améliorer la sécurité et la fiabilité des systèmes d’IA générative. L’Institut national des normes et de la technologie (NIST) du ministère a développé et rédigé ces outils. Ils font suite à un décret de novembre 2024 du président des États-Unis, Joe Biden, sur « le développement sûr, sécurisé et fiable de l’IA ».

Le NIST a ainsi mis en ligne Dioptra, un logiciel libre et téléchargeable gratuitement, destiné à évaluer les capacités de résistance d’un système d’IA à des cyberattaques. Développé depuis 2022, Dioptra détermine les types d’attaques qui réduiraient les performances d’un modèle, et dans quelles proportions. Le logiciel possède une conception modulaire permettant aux chercheurs d’échanger facilement des ensembles de données, de modèles et de techniques d’attaque et de défense.

Outre cet outil, le NIST a publié trois documents écrits. Le premier est un guide d’actions sur les risques induits par les contenus générés par les modèles d’IA générative. Il propose une liste de 12 risques et d’un peu plus de 200 mesures à prendre pour les gérer.
Le second guide porte sur les risques liés aux données d’entraînement des modèles d’IA générative – empoisonnement, partialité ou falsification de ces données. Le dernier document se présente comme un plan d’engagement mondial. Il entend « stimuler l’élaboration et la mise en œuvre à l’échelle mondiale de normes consensuelles liées à l’IA, la coopération et la coordination, ainsi que le partage d’informations ».