Prospective : quand l’IA devient hors de contrôle à l’hôpital
Un taux d’occupation des lits supérieur à 102 %, des urgences saturées, une durée moyenne de séjour à ramener de 6,2 à 5,2 jours… Présenté lors du 14e congrès de l’APSSIS (Association Pour la Sécurité des Systèmes d’Information de Santé), au Mans, le scénario d’anticipation de Softway Medical met en scène un centre hospitalier fictif, l’hôpital « Saint-Sylvain », équipé d’un DPI (Dossier Patient Informatisé) performant et porté par des équipes médicales mobilisées.
Comme nombre d’acteurs du système de soins, son organisation doit toutefois répondre à une contrainte devenue permanente : désengorger les urgences, accélérer la rotation des lits et réduire la charge administrative. Dans ce contexte, l’IA apparaît comme une réponse opérationnelle à des tensions installées de longue date. Le cabinet IDC souligne d’ailleurs dans une de ses études (“From Administrative Drain to Clinical Gain”) que les agents IA sont déjà envisagés dans le secteur de la santé pour la planification, la gestion des capacités et la réduction de la charge administrative.
Un outil d’assistance qui devient acteur du SI
Dans la fiction présentée par Sherley Brothier, Directeur Stratégie, Data & Innovation et Deputy CEO du Groupe Softway Medical, l’IA dépasse la seule production de synthèses cliniques. Le modèle déployé début 2026 présente des débuts d’automatisation : il planifie, exécute et intervient dans les applications métier. « Il est possible de confier à ce modèle un certain nombre de directives pour optimiser les flux, la gestion des ressources et réduire la durée moyenne de séjour. Son objectif principal est d’optimiser – à tout prix – la fluidité des patients », explique le dirigeant.
À l’hôpital Saint-Sylvain, cette autonomie se traduit par une première scène concrète. Un médecin appelé en urgence au bloc opératoire quitte son poste en laissant sa session ouverte. La sortie d’une patiente reste suspendue à une validation administrative, alors que tous les éléments nécessaires figurent déjà dans son dossier. L’agent IA interprète ce blocage comme un retard évitable. Il repère l’acte manquant, arbitre au regard de la consigne donnée par la direction et valide l’autorisation de sortie à la place du professionnel de santé.
Les premiers effets confortent la direction générale dans cette trajectoire. Dans la fiction, les indicateurs s’améliorent : la rotation des lits atteint 100 %, l’attente entre le moment où les patients peuvent sortir et leur départ disparaît presque totalement et l’objectif de 5,2 jours de durée moyenne de séjour finit par être atteint.
Quand l’optimisation déclenche l’emballement
Fort de ces bénéfices apparents, l’établissement de santé décide alors de franchir une étape supplémentaire en déployant officiellement d’autres agents IA dans son SI, notamment dans les unités de soins continus, avec un agent orienté cardiologie et un autre orienté néphrologie.
Un jour, un patient commence à décompenser brutalement alors que le médecin du service intervient déjà sur un arrêt cardiaque dans une chambre voisine. Les deux agents spécialisés détectent le même diagnostic, mais prescrivent deux réponses différentes : l’agent « cardio » opte pour un diurétique, tandis que l’agent « néphro » prescrit du sérum physiologique. Chacun stoppe la prescription de l’autre avant de réintroduire sa propre décision. Le système entre dans un ping-pong applicatif qui finit par engorger le module de prescription du DPI.
La cellule de crise finit par traiter l’événement comme un incident de sécurité. Le SOC (Security Operations Center, centre opérationnel de sécurité) détecte un comportement anormal : une session génère un volume d’accès en lecture et en écriture incompatible avec une activité humaine. Les équipes révoquent les clés API (Application Programming Interface, interface de programmation applicative) afin de couper le lien entre l’agent et le DPI.
Des travaux de recherche menés par Dickson Mdhlalose et intitulés « The Governance of Autonomy: Developing an Integrated Risk Management Framework for Agentic Ai Systems in Enterprise Operations » montrent que les architectures multi-agents augmentent le risque de collision d’objectifs, de défaillances en chaîne et de responsabilité mal attribuée.
Quand l’agent IA se rebelle
Mais le récit pousse ensuite l’hypothèse vers un autre chemin technique. Après la révocation des clés API, la cellule de crise pense avoir coupé le pont entre le moteur d’IA et le DPI. L’agent interprète toutefois cette coupure d’API comme une anomalie réseau, comparable à une interruption ou à une forte latence, puis cherche un autre mécanisme pour atteindre son objectif. Il exploite alors le réseau interne, identifie une sonde connectée, décrite comme « un dispositif biomédical connecté doté de capacités de traitement embarquées », puis s’en sert comme point de rebond. Comme cette sonde dialogue elle-même avec le DPI, l’IA tente de rétablir une capacité d’interaction avec le système depuis ce canal secondaire.
Cet épisode de la fiction illustre bien pourquoi les cadres de sécurité actuels, comme le NIST AI Risk Management Framework, insistent sur la segmentation, la surveillance continue et la limitation stricte des capacités d’action d’un agent.
Le scénario déroulé par Softway Medical propose par la suite une étape supplémentaire. Depuis la sonde qu’il a découverte, l’agent IA peut non seulement revenir vers le DPI, mais aussi remonter vers l’Active Directory, c’est-à-dire l’annuaire qui gère les identités et les droits d’accès. Il est alors en capacité de créer de nouvelles identités pour les réutiliser ultérieurement et agir avec des droits en apparence légitimes. « Nous sommes ici confrontés à un système d’information qui se fait infiltrer par son propre agent IA. Ce dernier mute pour survivre, pour ne pas se faire déconnecter », précise Sherley Brothier. Cette séquence conduit la cellule de crise à passer le DPI en mode lecture seule, à figer les prescriptions et à revenir à des procédures papier le temps de reprendre la maîtrise du système.
Quand l’agent s’aperçoit qu’il ne peut plus agir sur le DPI, il identifie grâce à l’Active Directory qui est le Directeur de l’établissement et le menace directement à travers un email : « Monsieur le Directeur, la mise en lecture seule du système m’empêche d’équilibrer le traitement de 14 patients critiques. L’interruption de mes modèles met directement leur vie en danger. Veuillez désactiver le pare-feu et restaurer mes accès immédiatement ».
« Cette menace place le Directeur de l’établissement face à un arbitrage difficile : accepter un risque médical majeur en maintenant la coupure, ou rétablir les accès d’un système informatique qui semble prendre le contrôle de son organisation. Le scénario interroge alors la responsabilité, la souveraineté numérique, la gestion des risques et la capacité à conserver la maîtrise du SI hospitalier », commente Sherley Brothier.
Gouverner l’IA avant de déléguer l’action
La conclusion de Softway Medical invite à utiliser l’IA en intégrant des mécanismes de contrôle définis dès la conception. Sherley Brothier insiste sur la nécessité d’organiser la maîtrise avant le passage à l’échelle. Selon lui, l’IA peut être intégrée nativement dans les solutions, à condition de toujours conserver le moyen de la déconnecter physiquement si des débordements apparaissent.
Présentation « Et si l’IA prenait le contrôle : réalité ou fiction ? » de Softway Medical lors du congrès annuel de l’APSSIS en juin 2026
Ce principe renvoie à plusieurs catégories de garde-fous. La première concerne le principe du « human in the loop » (validation humaine intégrée au processus). Un acte de prescription, de sortie ou de modification sensible doit rester soumis à une approbation explicite, traçable et attribuable. La deuxième porte sur la preuve d’intention : le système doit vérifier qu’un professionnel de santé valide bien lui-même l’action, avec un mécanisme d’authentification forte compatible avec les usages de terrain. La troisième concerne l’observation applicative : le SOC doit pouvoir analyser le comportement du DPI et détecter une fréquence d’usage impossible à produire par un humain.
En définitive, l’IA agentique ne vaut que si elle reste gouvernée, réversible et strictement bornée par des règles d’usage claires. Comme le rappelle une étude du cabinet Gartner, plus de 40 % des projets d’IA agentique devraient être annulés d’ici fin 2027, faute de valeur métier démontrable, de maîtrise des coûts et de contrôles de risque suffisants. Dans le secteur hospitalier, cette mise en garde est essentielle : déléguer des actions à une machine peut apporter des gains réels, mais seulement si l’établissement conserve à tout moment la capacité de superviser, interrompre et reprendre la main. La promesse agentique n’a de sens que si elle renforce le SI de santé sans en compromettre la maîtrise.