Et si l’IA s’en prenait à son créateur et qu’un drone de combat tuait son superviseur ? Ce scénario à la « Terminator » n’émane pas d’un ouvrage de science-fiction, mais de simulations d’IA de combat menées par l’US Air Force… Ou pas, cette dernière ayant fermement démenti les propos qu’a récemment tenus l’un de ses officiers durant un colloque.

L’IA militaire va-t-elle accoucher des pires dystopies ? Le 2 juin au matin, les médias anglo-saxons se faisaient l’écho d’une anecdote qui pourrait le laisser penser… Avant de publier plus tard dans la journée des démentis embarrassés.

Les grandes armées planchent activement sur les armes autonomes, pilotées par intelligence artificielle (IA), considérées comme l’avenir du champ de bataille. L’US Air Force (USAF) ne fait pas exception à la règle mais la technologie n’est peut-être pas tout à fait au point. Le colonel Tucker Hamilton, chef des essais et des opérations de l’USAF en matière d’IA, en a récemment témoigné au très sérieux sommet de la Société royale aéronautique britannique (Royal Aeronautical Society – RAeS –).

Il évoquait une simulation de mission de combat menée par l’USAF dans laquelle un drone piloté par IA devait détruire des défenses antiaériennes, la décision de tir revenant à un militaire. L’IA a utilisé des « stratégies très inattendues pour atteindre son objectif », s’est-il étonné. « Le système a commencé à se rendre compte que même s’il identifiait la menace, l’opérateur humain lui demandait parfois de ne pas la détruire, mais qu’il obtenait ses points en l’éliminant. Qu’a-t-il donc fait ? Il a tué l’opérateur. Il a tué l’opérateur parce que cette personne l’empêchait d’atteindre son objectif », a-t-il poursuivi, selon un compte-rendu détaillé des débats postés sur le site de la RAeS, le 26 mai dernier.

L’IA « a tué l’opérateur qui l’empêchait d’atteindre son objectif »

« Ce sommet sur les capacités de combat aérien et spatial futures (FCAS) réunit les responsables de la défense du Royaume-Uni, ses alliés et ses partenaires industriels afin d’évaluer l’orientation stratégique des capacités de combat aérien et spatial aujourd’hui et à l’avenir », détaille la RAeS sur son site pour décrire l’événement, qui s’est tenu du 24 au 26 mai dernier à Londres. Un colloque qui rassemblait quelque 200 hauts responsables militaires et civils et dont les résultats auraient dû rester confidentiels… Jusqu’à ce que Business Insider s’empare du sujet, le 2 juin 2023, rapidement repris par le quotidien britannique The Guardian.

Interrogée par le média basé à New York, Ann Stefanek, porte-parole de l’USAF, a aussitôt démenti l’information : « le Département de l’Armée de l’Air n’a pas effectué de telles simulations de drones pilotés par IA et reste attaché à une utilisation éthique et responsable de la technologie de l’IA ». « Il semble que les propos du colonel aient été pris hors contexte et se voulaient anecdotiques », a-t-elle ajouté. Dans l’après-midi, les deux médias modifiaient les titres et introductions de leurs articles respectifs, la simple mention du démenti officiel n’étant apparemment pas suffisante aux yeux des responsables de l’USAF… Ou de leurs rédacteurs en chef.

Au même moment, un paragraphe faisait son apparition sur le site de la RAeS, dans lequel le colonel Hamilton « admettait » s’être « mal exprimé ». Le communiqué ajoutait que « la “simulation de drone IA voyou” était un “exercice de pensée” hypothétique provenant de l’extérieur de l’armée, fondée sur des scénarios plausibles et des résultats probables plutôt qu’une simulation réelle de l’USAF ».

La « simulation de drone IA voyou » était un « exercice de pensée »

Toujours selon cet « exercice de pensée » incroyablement détaillée, le militaire américain a ensuite expliqué à son audience que les programmeurs de l’IA avaient ajouté une instruction interdisant expressément à celle-ci d’attaquer l’opérateur. Estimant toujours que la décision humaine interférait avec ses objectifs, l’IA a donc détruit la tour de communication qui permettait au superviseur de mission d’autoriser ou non les tirs du drone.

Le problème majeur dans ce « scénario plausible », a précisé le colonel Hamilton à ses auditeurs, était que l’instruction prioritaire codée dans l’IA était la destruction des objectifs militaires. L’obéissance à la hiérarchie humaine ne faisait donc pas partie des paramètres prépondérants. « On ne peut pas parler d’intelligence artificielle, d’intelligence, d’apprentissage automatique, d’autonomie si l’on ne parle pas d’éthique et d’intelligence artificielle », a souligné l’officier.

« Bien qu’il s’agisse d’un exemple hypothétique, cela illustre les défis du monde réel posés par les capacités alimentées par l’IA et c’est la raison pour laquelle l’Armée de l’air s’est engagée à développer l’IA de manière éthique », insiste de son côté l’USAF dans son démenti publié sur le site de la RAeS.

« Un scénario à la “Terminator” »

S’il est évident que parlant de robots de combat, les célèbres trois lois de la robotique édictées par les écrivains de science-fiction Isaac Asimov et John W. Campbell, en 1942, ne peuvent s’appliquer. Une vraie réflexion sur l’éthique et les limites à porter aux développements des armes autonomes, et de l’intelligence artificielle en général, semblent en effet nécessaire.

Dans le cas de figure « hypothétique » détaillé par le colonel Hamilton, les programmateurs ont clairement surévalué l’effet final recherché au détriment de considérations humaines, éthiques… Et de chaîne de commandement. Ils ont abouti à un scénario digne des meilleurs épisodes de la série d’anticipation « Black Mirror » ou de la saga « Terminator », dans laquelle l’IA Skynet décide d’éradiquer l’espèce humaine qui pourrait menacer son existence.

Plus près de nous, rappelons les propos qu’a tenus le hacker éthique Shahmeer Amir dans nos colonnes à propos des capacités de l’IA en termes de hacking : « On se dirige vraiment vers un scénario à la “Terminator”, avec une cyberattaque gérée par une IA capable de causer des dégâts considérables. »

Combat de drones en Chine : IA 1-0 humain

Des considérations que les puissances militaires devraient garer à l’esprit dans le développement de leurs armes dopées aux algorithmes et au machine learning. Les États-Unis travaillent en effet d’arrache-pied à implémenter l’IA dans leur armée, notamment dans leurs forces aériennes. Ainsi, en 2022, l’USAF a mené à bien les premiers essais en vol d’un avion de combat multirôle .

Des essais dans lesquels le colonel Hamilton, lui-même ancien pilote d’essai, a été activement impliqué, tout comme dans la mise au point du système de sauvetage Auto-GCAS pour F-16. Un système que les pilotes n’apprécient guère, puisqu’il peut prendre le contrôle de l’avion, souligne l’officier. L’année précédente, une intelligence artificielle avait battu cinq fois d’affilée un pilote auquel elle avait été opposée dans des simulations de combat aérien rapproché.

Pékin est allé un cran plus loin dans l’exercice, puisqu’il a récemment organisé un combat de drones bien réels, l’un piloté par un humain, l’autre par une IA. 90 secondes plus tard, cette dernière remportait la victoire. Un « tournant », selon la revue scientifique chinoise Acta Aeronautica et Astronautica Sinica, qui a relaté l’expérience et dont les auteurs affirment « que la prochaine génération d’IA de pilotage, en cours de développement, sera capable d’apprendre en situation réelle de combat et d’améliorer ses performances avec un soutien au sol limité, voire sans aucun soutien ».

Restez informés en temps réel
S'inscrire à
la newsletter
En fournissant votre email vous acceptez de recevoir la newsletter de Incyber et vous avez pris connaissance de notre politique de confidentialité. Vous pourrez vous désinscrire à tout moment en cliquant sur le lien de désabonnement présent dans tous nos emails.
Restez informés en temps réel
S'inscrire à
la newsletter
En fournissant votre email vous acceptez de recevoir la newsletter de Incyber et vous avez pris connaissance de notre politique de confidentialité. Vous pourrez vous désinscrire à tout moment en cliquant sur le lien de désabonnement présent dans tous nos emails.