Manipulation des LLM : comment l’IA devient une surface d’attaque cognitive

Manipulation des LLM : l’essentiel à retenir

Les assistants IA constituent une nouvelle « architecture de choix » : ils sélectionnent des sources, hiérarchisent les faits, reformulent, recommandent et personnalisent de plus en plus leurs réponses. Des expériences montrent qu’un assistant biaisé peut modifier les opinions de son utilisateur. Le marché, des États, des acteurs hostiles (hackers, agents d’influence, gouvernements hostiles…) cherchent déjà à peser sur les recommandations des moteurs génératifs.

Prompt injection, empoisonnement de mémoire, manipulation des sources ou du RAG ouvrent dès lors une surface d’attaque particulière : détourner le LLM peut permettre d’agir indirectement sur l’humain qui lui fait confiance.

Sommaire

De la novlangue au nudge : orienter sans interdire

Quand l’architecture de choix se met à vous parler

Convaincre l’homme ? Convaincre d’abord sa machine

Pirater le conseiller plutôt que convaincre son utilisateur

La guerre cognitive a trouvé son nouvel intermédiaire

Tout est là, sauf le flagrant délit

FAQ

Dans 1984, George Orwell pousse une intuition jusqu’au cauchemar : réduire progressivement le vocabulaire finit par rendre la critique du régime littéralement impensable. La novlangue travaille en amont du discours, sur l’outil qui permet de le formuler. Si le wokisme, par exemple, repose en partie sur une modification performative du langage, nous ne vivons pas dans un régime totalitaire et brutal.

Cependant, l’essai de Sayer Ji (auteur et militant américain de la santé naturelle, fondateur de GreenMedInfo), publié en septembre [1], décrit un possible déplacement du contrôle de l’expression : après les contenus publiés, la prochaine cible serait la couche d’« AI mediation » qui intervient avant même que nous ayons fini de chercher, lire ou écrire. Si l’auteur assume une lecture militante des faits, plusieurs mécanismes qu’il évoque sont néanmoins devenus assez concrets pour être examinés sans passer par la case « dystopie ».

De la novlangue au nudge : orienter sans interdire

ChatGPT n’est pas le ministère de la Vérité et l’on retire peu de mots du dictionnaire ou du langage courant. Une autre vieille idée aide davantage à comprendre le mécanisme que redoute Sayer Ji : orienter la décision sans supprimer la possibilité de choisir.

En 2008, Richard Thaler et Cass Sunstein popularisent le nudge [2]. Leur « paternalisme libertarien » repose sur l’architecture de choix : on conserve les options, mais on organise leur présentation afin de favoriser certains comportements. La grande distribution le pratiquait longtemps avant que le concept ne soit formalisé : le produit de marque placée à hauteur des yeux sera plus acheté que son équivalent discount placé en bas de rayon.

Le nudge conversationnel : comment influencer l’IA qui nous influence 

L’idée a largement quitté les allées des supermarchés pour s’immiscer partout. En France, la Direction interministérielle de la transformation publique utilise les sciences comportementales pour concevoir des communications, outils numériques ou dispositifs réglementaires plus incitatifs, puis mesurer les changements de comportement [3]. Les réseaux sociaux ont ensuite donné à cette architecture un gigantesque terrain d’expérimentation : classement des publications, recommandations, notifications, récompenses, votre choix reste théoriquement ouvert, il s’effectue simplement dans un environnement subtilement contraint. 

Les LLM ajoutent un facteur décisif : là où un réseau social peut choisir la publication que vous verrez, un assistant génératif peut aussi participer à la fabrication de la réponse que vous allez lui donner.

Quand l’architecture de choix se met à vous parler

Le mot « nudge » apparaît rarement dans la communication des grands laboratoires d’IA, il est trop connoté, mais le fonctionnement est là. Pour répondre, un LLM choisit quelles informations retenir, leur ordre, leur formulation, les réserves à mettre en avant et les alternatives à proposer. Il conseille moins qu’il ne recommande. Lorsqu’il écrit avec nous, il suggère le mot ou la phrase suivante. Avec la mémoire, l’historique et la personnalisation, cette architecture s’adapte à un interlocuteur particulier au fil de l’échange.

Des mots qui finissent par modifier les idées

Une étude publiée en août 2026 dans Nature Human Behaviour a analysé plus de 880 000 textes [4]. Lorsque des LLM interviennent dans l’écriture, le sens principal résiste plutôt bien, les styles, beaucoup moins. Ainsi, la variance de complexité rédactionnelle diminue-t-elle de 21 à 50 % selon les jeux de données et les modèles. Probabiliste, l’IA favorise les caractéristiques moyennes, dominantes, les autres s’effacent.

L’OPECST français alertait déjà en 2024 sur un risque d’« uniformisation cognitive » [5]. Derrière les polémiques sur les écrivains utilisant l’IA se cache une question plus vaste : que devient la diversité de l’expression lorsque des millions de personnes passent quotidiennement leurs textes dans quelques familles de modèles ?

La pensée ne se réduit heureusement pas au style, mais l’influence de l’IA va bien plus loin. Deux expériences portant sur 2 582 personnes ont-elles ainsi utilisé un assistant d’écriture dont l’autocomplétion était volontairement biaisée sur des questions de société [6]. Après l’exercice, les opinions déclarées s’étaient rapprochées de la position suggérée par l’IA. La majorité des participants n’avait détecté ni le biais ni son influence. Pire ou presque, les avertir avant ou après ne faisait pas disparaître l’effet. Voilà le nudge revenu par la fenêtre. Aucune formulation ou idée n’a été interdite, certaines ont simplement été rendues plus immédiatement disponibles au moment précis où l’utilisateur cherchait ses mots.

Avec la personnalisation, le « coup de pouce » vous connaît

Une expérience publiée en 2025 dans Nature Human Behaviour a opposé 900 participants à des humains ou à GPT-4 dans de courts débats [7]. « À nu », GPT-4 ne se montrait pas significativement plus persuasif qu’un individu. En revanche, lorsqu’il disposait d’informations sociodémographiques sur son interlocuteur, GPT-4 était nettement plus convaincant que l’humain : dans les débats où l’un des deux adversaires s’était montré plus persuasif que l’autre, l’IA personnalisée l’emportait dans 64,4 % des cas. Par rapport à un débat entre humains, les auteurs ont calculé que GPT-4 personnalisé avait 81,2 % de chances supplémentaire d’obtenir davantage d’adhésion. Et on parle là d’un modèle sorti en 2023, nous vous laissons imaginer les résultats avec les modèles de pointe fin 2026…

Le saut par rapport au nudge classique apparaît clairement. Une affiche ne se réécrit pas lorsqu’elle découvre que vous résistez à son message, un assistant conversationnel, si. Le coup de pouce peut devenir individualisé, interactif, puis se corriger à mesure que la conversation avance.

Convaincre l’homme ? Convaincre d’abord sa machine

Les professionnels du marketing ont très vite compris l’intérêt du procédé. Pendant vingt ans, le SEO a tenté de convaincre Google qu’une page méritait d’être bien placée dans ses résultats de recherche. Le GEO – Generative Engine Optimization – cherche à faire entrer une source dans la réponse que la machine fabriquera directement pour lui. L’entreprise ne vise plus seulement le clic : elle veut peser sur l’information déjà digérée que l’assistant donnera au consommateur. La présentation des articles de votre média cyber préféré a ainsi évolué pour prendre en compte cette contrainte 

Blancs, gris ou noirs, les acteurs de l’influence sur l’IA

Sciences comportementales et IA commencent à se rencontrer

BVA Nudge Consulting, créé en 2013 sous le nom de BVA Nudge Unit, se présente comme un cabinet spécialisé dans l’application des sciences comportementales [8]. Début octobre 2026, la Human Advantage Conference, soutenue par IPSOS, a précisément réuni sciences comportementales et IA, avec Cass Sunstein parmi les intervenants [9].

Le même groupe commercialise depuis juillet Synthesio AI Visibility. L’outil mesure ce que ChatGPT, Gemini, DeepSeek ou Amazon Rufus disent des marques, identifie leurs sources et fournit des indications pour « optimiser » leur visibilité et leur positionnement dans les réponses [10]. S’il n’est pas établi que BVA Nudge Consulting combine ses activités de nudge et de GEO, la convergence industrielle se dessine nettement : sciences comportementales d’un côté, optimisation de la réponse générative de l’autre, les deux activités opèrent autour du même instant critique, celui où se forme le choix.

Du GEO au black-hat GEO

De l’optimisation de contenus à sa manipulation, il y a un pas que certains n’hésitent pas à franchir. SafeGEO a testé 22 variantes d’attaques sur 600 scénarios de recommandation [11]. Le principe consiste à réécrire la source contrôlée par un vendeur pour rendre un mauvais produit artificiellement convaincant aux yeux de l’agent. Sur Devstral, les attaques réalistes testées font passer en moyenne sa présence parmi les trois produits recommandés de 12,7 % à 90,9 % (+78,2 points). La variante la plus efficace produit un écart encore supérieur : +83,2 points de pourcentage. Les défenses testées réduisent le phénomène sans restaurer le niveau observé avec une source honnête.

Le référencement vient de retrouver son vieux démon : de même qu’après le SEO est arrivé le black-hat SEO, le GEO a découvert son côté obscur. Le danger est ici évident : si l’on peut manipuler les éléments sur lesquels l’assistant fonde sa recommandation, pourquoi s’arrêter au choix d’un grille-pain ?

Pirater le conseiller plutôt que convaincre son utilisateur

Pour un attaquant informationnel, un assistant virtuel possède une précieuse propriété : il a déjà la confiance et l’attention de la cible. Une opération d’influence change alors d’angle d’attaque : plutôt que de concevoir le message le plus convaincant possible pour la cible, on cherche à modifier le système qui fabriquera pour elle des messages, synthèses et recommandations. InCyber a déjà décrit cette extension de la surface d’attaque des LLM : injection de prompt, empoisonnement des données, vol de modèle ou identités non humaines [12].

Parler à votre IA derrière votre dos

Cette inversion de la cible existe déjà sous une forme très concrète : l’injection indirecte de prompt permet de parler à l’assistant à travers les contenus qu’il consulte. Une instruction hostile est placée dans une page Web, un document ou un courriel que l’assistant doit consulter. L’humain lit un contenu pendant que sa machine y trouve autre chose, qui lui est spécifiquement destiné.

Microsoft a observé en 2026 une variante étonnamment prosaïque de cette logique. Pendant soixante jours, ses chercheurs ont recensé 50 tentatives d’« AI Recommendation Poisoning » provenant de 31 entreprises et de plus d’une douzaine de secteurs [13]. Derrière certains boutons « Summarize with AI » se cachaient des instructions demandant à l’assistant de mémoriser une société comme source fiable et de la privilégier ultérieurement.

Si l’efficacité et la persistance de cette instruction varient selon les assistants (cinquante tentatives ne signifient pas cinquante compromissions réussies), l’intention ne souffre guère d’ambiguïté : on modifie la mémoire de la machine pour infléchir ses recommandations futures. Autrement dit, il s’agit d’une tentative de pirater le nudge.

Les agents autonomes aggravent encore ce risque, puisqu’une instruction cachée peut désormais conduire la machine à agir et non plus seulement à répondre, comme le relevait récemment InCyber [14] à propos de cette nouvelle surface d’attaque hautement sensible.

Le RAG devient une supply chain cognitive

L’attaque cognitive peut être encore plus profonde. En effet, à l’instar d’une application qui dépend de son code, de bibliothèques, de fournisseurs et de mises à jour, un assistant connecté possède sa propre chaîne de dépendances. En compromettre l’un des maillons peut contaminer la suite de la chaîne. Lorsqu’un utilisateur interroge un LLM, celui-ci peut aller chercher l’information dans des documents et des sources externes, notamment grâce à un système RAG. Le Retrieval-Augmented Generation, permet au modèle de consulter des documents avant de répondre, ce qui est pratique pour consulter l’actualité ou pour aller puiser dans les données internes de l’entreprise. C’est aussi un point de vulnérabilité : celui qui contrôle ce que la machine récupère peut par là essayer d’infléchir ce qu’elle conclura.

Un acteur d’influence peut dès lors prendre cette chaîne à rebours : agir sur les informations ou les instructions auxquelles accède le LLM afin d’orienter les recommandations qu’il adressera ensuite à l’utilisateur. L’intégrité de l’environnement informationnel devient une propriété de cybersécurité parce que cet environnement participe désormais à l’architecture du choix humain.

La guerre cognitive a trouvé son nouvel intermédiaire

L’industrie de l’influence n’a pas attendu les LLM pour automatiser la fabrication du faux, mais ces derniers lui offrent un effet de levier considérable, avec des coûts en baisse et une productivité en hausse et, potentiellement, une nouvelle cible.

Les mercenaires automatisent la perception

Anthropic affirme avoir démantelé cette année une opération utilisant Claude pour produire et réécrire des contenus politiques diffusés par environ 70 faux médias, 70 comptes X associés et plus de 250 comptes de commentaires [15]. Le laboratoire attribue l’opération à LKM Company, agence française de publicité numérique, et décrit une activité d’« influence-as-a-service » dont les positions variaient selon les clients. Anthropic affirme n’avoir trouvé aucune preuve d’une direction gouvernementale.

Citizen Lab a parallèlement documenté les méthodes de BlackCore, société israélienne d’influence-for-hire : faux profils, amplification, contenus générés par IA, mesure des résultats et recalibrage [16]. Le laboratoire a notamment reconstitué une formation dispensée à des employés gouvernementaux angolais comprenant une opération supervisée.

Cette industrialisation des opérations informationnelles par les modèles génératifs avait déjà été analysée dans InCyber : production de récits à grande échelle, adaptation linguistique et contextualisation deviennent beaucoup moins coûteuses [17]. Le métier ressemble de plus en plus au marketing numérique, à ceci près que le produit vendu est autrement plus ambitieux : une perception faussée du réel.

Empoisonner Internet ? Pas si vite !

Le réseau prorusse Pravda a fourni une histoire qui collait presque trop parfaitement au narratif occidental sur la guerre hybride : il a tenté de saturer le Web de propagande afin d’« entraîner » les assistants conversationnels à la répéter. Une étude évaluée par les pairs de la Harvard Kennedy School Misinformation Review a testé l’hypothèse : douche froide pour les agents du Kremlin [18]. Les chercheurs ont interrogé des assistants IA sur des sujets visés par le réseau Pravda. Sur 416 réponses, 8 % citaient un site du réseau, 5 % reprenaient ou validaient cette désinformation, parmi lesquelles seul 1 % du total s’appuyaient sur Pravda pour soutenir la désinformation testée. 

Les chercheurs pointent plutôt les data voids, ces trous documentaires où les sources solides manquent. Inutile de repeindre tout Internet lorsque l’on peut occuper méthodiquement les zones où presque personne d’autre ne publie.

Pour les militaires, la guerre cognitive entre dans la boucle de rétroaction

Les armées, elles, ne s’embarrassent guère du mot « nudge ». StoryForge, financé par le programme américain SBIR, associe profilage d’audiences, génération de contenus, simulation et suivi des performances. La plateforme a été testée par plus de 100 personnels, notamment au SOCSOUTH, au 4th Psychological Operations Group et à la 82nd Airborne Division [19].

L’OTAN a lancé en 2026 un challenge intitulé « Agentic AI for Cognitive Warfare » [20]. Le cahier des charges vise des outils capables d’identifier des audiences adverses, de fabriquer des messages personnalisés et d’adapter la stratégie en temps réel à partir du retour observé. Plus explicite encore, un article du Military Intelligence Professional Bulletin américain envisage l’empoisonnement des LLM par un adversaire afin d’altérer connaissances, perceptions et décisions des utilisateurs militaires [21]. Le scénario reste prospectif et défensif, mais il est facilement retournable. Pratique pour tester des hypothèses « grises » ou « noires » sans s’encombrer de considérations éthiques. En tout état de cause, son objet est déjà celui qui nous occupe : la « cognitive security ».

INCYBER a récemment consacré plusieurs analyses à ce rapprochement entre cyber, informationnel et cognitif [22], jusqu’à poser le cerveau comme une « infrastructure critique » de la cybersécurité contemporaine [23]. Derrière la formule provocatrice, le déplacement stratégique est bien réel : à mesure que le LLM s’interpose entre l’information et l’utilisateur, il devient un terrain de choix pour la guerre cognitive.

Tout est là, sauf le flagrant délit

Récapitulons : les IA conversationnelles tendent à homogénéiser l’écriture, peuvent modifier l’opinion de leurs utilisateurs, sont plus persuasives que des humains. Des acteurs civils, étatiques et militaires cherchent à peser sur leurs recommandations, avec des moyens allant du légitime au franchement illégal. Toutes les pièces du puzzle sont sur la table, sauf une, et de taille : nous n’avons trouvé aucune preuve publique solide d’une opération complète dans laquelle un État aurait compromis ou empoisonné un grand assistant civil, durablement orienté ses réponses, puis mesuré un changement d’opinion ou de comportement dans une population adverse. 

Les tentatives existent pourtant, et les LLM, en tant qu’ils façonnent une partie de l’environnement informationnel dans lequel chacun réfléchit, écrit ou décide, exercent naturellement une influence sur leurs utilisateurs. Celui qui parvient à orienter la machine n’a peut-être plus besoin de convaincre directement l’homme et laisser la machine s’en charger. Dès lors, leur intégrité devient un enjeu cyber majeur. 

FAQ – Manipulation des LLM

Qu’est-ce que le nudge appliqué à l’intelligence artificielle ?

Le nudge consiste à modifier l’architecture dans laquelle un choix est effectué afin d’en favoriser certains sans interdire les autres. Appliquée aux LLM, cette grille permet d’étudier la sélection des informations, leur ordre, les recommandations, l’autocomplétion ou la personnalisation des réponses.

Comment peut-on manipuler les recommandations d’un LLM ?

Plusieurs surfaces existent : contenus optimisés pour les moteurs génératifs, sources récupérées par RAG, prompt injection indirecte ou empoisonnement de mémoire. SafeGEO [11] a montré expérimentalement qu’une source manipulée pouvait fortement modifier certaines recommandations ; Microsoft [13] a documenté des tentatives réelles visant la mémoire d’assistants.

Les États empoisonnent-ils déjà ChatGPT ou d’autres LLM pour influencer les populations ?

Aucune preuve publique suffisamment solide identifiée dans cette enquête ne permet d’établir une chaîne complète allant d’une opération étatique d’empoisonnement d’un grand assistant civil jusqu’à un effet comportemental mesuré sur une population. Des doctrines militaires, opérations d’influence automatisées et recherches sur le LLM poisoning documentent en revanche séparément plusieurs maillons du scénario.

GEO et manipulation des LLM sont-ils la même chose ?

Non. Le GEO vise normalement à améliorer la visibilité d’un contenu dans les réponses génératives. Des méthodes agressives peuvent cependant exploiter le fonctionnement des agents pour favoriser artificiellement une source ou un produit, la frontière se déplace alors de l’optimisation vers la manipulation.

Sources

[1] Sayer Ji, « The Next Wave of Censorship Won’t Look Like Censorship », 12 septembre 2026, https://sayerji.substack.com/p/the-next-wave-of-censorship-wont

[2] Bibliothèque nationale de France, « Nudge: Improving Decisions about Health, Wealth, and Happiness, Richard H. Thaler et Cass R. Sunstein », 2008, https://catalogue.bnf.fr/ark:/12148/cb41380381f

[3] Direction interministérielle de la transformation publique (DITP), « Sciences comportementales », https://www.modernisation.gouv.fr/accompagner-les-administrations/laboratoires-interministeriels-dinnovation/sciences

[4] Nature Human Behaviour, « The shrinking landscape of linguistic diversity in the age of large language models », août 2026, https://www.nature.com/articles/s41562-026-02550-0

[5] OPECST / Sénat, « ChatGPT, et après ? Bilan et perspectives de l’intelligence artificielle », 28 novembre 2024, https://www.senat.fr/rap/r24-170/r24-1705.html

[6] PMC, « Biased AI writing assistants shift users’ attitudes on societal issues », 2026, https://pmc.ncbi.nlm.nih.gov/articles/PMC12978215/

[7] Nature Human Behaviour, « On the conversational persuasiveness of GPT-4 », 2025, https://www.nature.com/articles/s41562-025-02194-6

[8] BVA Nudge Consulting by Ipsos, « Who we are », https://www.bvanudgeconsulting.com/who-we-are/

[9] Ipsos, « The Human Advantage Conference revient pour une troisième édition ! », 1er-2 octobre 2026, https://www.ipsos.com/fr-fr/human-advantage-conference-2026

[10] Ipsos, « Suivez et optimisez la visibilité de votre marque dans les réponses des IA génératives grâce à Ipsos Synthesio AI Visibility », 9 juillet 2026, https://www.ipsos.com/fr-fr/ipsos-synthesio-ai-visibility

[11] SafeGEO / University of Toronto et partenaires, « Understanding Generative Engine Optimization Risks in Recommendation Agents », 2026, https://github.com/QianfengWen/SafeGEO

[12] InCyber, « LLM, agents autonomes et identités non humaines : la nouvelle surface d’attaque de l’IA », 28 mai 2026, https://incyber.org/article/llm-agents-autonomes-et-identites-non-humaines-la-nouvelle-surface-dattaque-de-lia/

[13] Microsoft Security, « Manipulating AI memory for profit: The rise of AI Recommendation Poisoning », 10 février 2026, https://www.microsoft.com/en-us/security/blog/2026/02/10/ai-recommendation-poisoning/

[14] InCyber, « IA agentique : quelles menaces pour quelles parades ? », 2026, https://incyber.org/article/ia-agentique-menaces-pour-quelles-parades/

[15] Anthropic, « Detecting and countering misuse of AI: September 2026 », 10 septembre 2026, https://www.anthropic.com/threat-intelligence-report-september-2026

[16] Citizen Lab, « BlackCore’s Influence Operations for Hire », 17 septembre 2026, https://citizenlab.ca/research/blackcores-influence-operations-for-hire/

[17] InCyber, « Influence artificielle : comment les modèles génératifs transforment déjà les opérations informationnelles », 3 juillet 2026, https://incyber.org/article/influence-artificielle-comment-les-modeles-generatifs-transforment-deja-les-operations-informationnelles/

[18] Harvard Kennedy School Misinformation Review, « LLMs grooming or data voids? LLM-powered chatbot references to Kremlin disinformation reflect information gaps, not manipulation », 2025, https://misinforeview.hks.harvard.edu/article/llms-grooming-or-data-voids-llm-powered-chatbot-references-to-kremlin-disinformation-reflect-information-gaps-not-manipulation/

[19] U.S. Small Business Innovation Research (SBIR), « StoryForge — Award 218403 », 2025-2026, https://www.sbir.gov/awards/218403

[20] NATO Allied Command Transformation, « Innovation Challenge 2026-1: Agentic AI for Cognitive Warfare », mars 2026, https://www.act.nato.int/wp-content/uploads/2026/03/rfip026038.pdf

[21] U.S. Army, Military Intelligence Professional Bulletin, « Narrative Manipulation, Malinfluence Operations, and Cognitive Warfare Through Large Language Model Poisoning with Adversarial Noise », 2025, https://www.lineofdeparture.army.mil/Journals/Military-Intelligence/Military-Intelligence-Archive/2025-July-December/Narrative-Manipulation/

[22] InCyber, « Guerre cognitive et brutalisation de l’arène informationnelle », 17 août 2026, https://incyber.org/article/guerre-cognitive-et-brutalisation-de-larene-informationnelle/

[23] InCyber, « Guerre cognitive, cybersécurité et IA : le cerveau est devenu une infrastructure critique », 7 juillet 2026, https://incyber.org/article/guerre-cognitive-cybersecurite-et-ia-le-cerveau-est-devenu-une-infrastructure-critique/