OpenAI veut lutter contre les risques « catastrophiques » de l’IA

OpenAI a annoncé, fin octobre 2023, la création d’une équipe d’experts, baptisée « Preparedness », dédiée à lutter contre les risques « catastrophiques » induits par l’IA. « Les modèles d’IA d’avant-garde, qui dépasseront les capacités des modèles actuels les plus avancés, auront un potentiel qui bénéficiera à l’ensemble de l’humanité. Mais ils généreront également des risques de plus en plus grands », expose l’éditeur de ChatGPT.

L’équipe, menée par Aleksander Madry, un spécialiste de l’IA du MIT, se penchera sur trois questions cruciales :

• « En cas d’utilisation abusive, quel est le degré de dangerosité des systèmes d’IA d’avant-garde, présents et futurs ? »
• « En cas de détournement de ces modèles, que pourrait en faire exactement un acteur malveillant ? »
• « Face à ces risques, comment construire un cadre pour surveiller, évaluer, prédire et protéger ? »

Dans le détail, Preparedness va étudier plusieurs risques que posent les modèles d’IA :

• la persuasion individualisée (c’est-à-dire l’adaptation d’un contenu à ce qu’un destinataire veut entendre, pour le tromper) ;
• la cybersécurité globale ;
• la réplication et l’adaptation autonomes – des IA qui se modifient elles-mêmes ;
• les « menaces d’extinction » comme des attaques chimiques, biologiques, radiologiques ou nucléaires provoquées par une IA.

OpenIA a également lancé le « AI Preparedness Challenge », un concours sur le sujet. La firme offre ainsi jusqu’à 25 000 dollars (23 500 euros) pour les 10 meilleures soumissions d’utilisations « probables mais potentiellement catastrophiques » de l’IA.