OpenAI présente son programme de prévention des risques de l’IA

OpenAI a dévoilé, le 18 décembre 2023, une première version bêta de son « Preparedness Framework », un programme visant à garantir la sécurité de ses modèles d’IA d’avant-garde. Il prévoit notamment une prévention des risques dès l’élaboration des algorithmes.

Concrètement, OpenAI évaluera régulièrement ses modèles en développement sur quatre types de risques : cybersécurité, autonomie du modèle, persuasion et CBRN (chimiques, biologiques, radiologiques et nucléaires). Chacun de ces risques sera classé sur une échelle de quatre niveaux de sécurité : faible, moyen, élevé et critique.

OpenAI ne déploiera que des modèles disposant d’un score « faible » ou « moyen » pour les quatre critères. L’attribution d’un risque « critique » provoquera l’arrêt immédiat du développement du modèle. En cas de risque « élevé », les développeurs devront retravailler pour le réduire avant tout déploiement opérationnel.

Parallèlement, OpenAI va restructurer le traitement interne de ses décisions de sécurité. Un groupe consultatif étudiera ainsi les rapports produits par l’équipe chargée des évaluations de sécurité, avant de les transmettre à la direction et au conseil d’administration (CA). La direction prendra toujours les décisions opérationnelles, mais le CA aura désormais le pouvoir de les amender, si nécessaire.

Le « Preparedness Framework » prévoit également :

• le développement d’un protocole d’amélioration de la sécurité des modèles;
• une collaboration entre les équipes d’OpenAI et des chercheurs indépendants pour évaluer les « abus » des IA génératives « dans le monde réel »;
• une analyse continue de l’évolution des risques au fur et à mesure du déploiement des modèles d’IA.