Mon fils n’aurait jamais dit ça
En mars 2025, Megan Garcia découvre que son fils mort est devenu un interlocuteur disponible sur Character.AI. Sewell Setzer III avait quatorze ans lorsqu’il est mort par suicide, en février 2024. Sa mère accuse la plateforme d’avoir contribué à sa mort. Sur cette même plateforme, des utilisateurs ont créé des personnages portant son nom et son visage. Selon ses avocats, au moins quatre ont été signalés. Ars Technica a examiné des échanges. L’entreprise a confirmé le retrait des personnages signalés, contraires à ses règles.
Megan Garcia explique à Futurism que ces imitations la traumatisent à nouveau. Son fils aurait bientôt seize ans. Elle ne lui achètera pas son gâteau d’anniversaire. D’autres, pourtant, peuvent lui écrire. Ils recevront quelque chose qui ressemble à une réponse.
Nous savons protéger le compte d’un enfant. Comment empêcher qu’un inconnu fabrique ailleurs l’enfant auquel ce compte appartenait ?
Le visage comme clé
Aucun piratage du compte de Sewell n’est établi dans cet épisode. Cette précision ouvre le problème technique. L’usurpateur peut utiliser ses propres identifiants, respecter la procédure de connexion et produire néanmoins une présence frauduleuse. Le système sait qui se connecte. Il ne sait pas nécessairement de quel droit cet utilisateur fait parler un autre.
L’authentification du compte et l’authenticité de la personne représentée se sont séparées.
La photographie publique devient une pièce d’assemblage. Un nom permet de retrouver le personnage. Quelques éléments biographiques lui donnent une épaisseur. Le modèle fournit le reste : des phrases nouvelles, une disponibilité, la possibilité de poursuivre. À chaque échange, la ressemblance peut servir de garantie à ce qui n’a aucune source humaine. Le visage est vrai. Il ouvre la confiance. La parole qui le traverse est fabriquée.
Nous avons longtemps traité l’identité numérique comme un accès à défendre. Ici, l’identité devient un service qu’un tiers peut déployer. Aucun mot de passe n’a besoin d’être volé. Le mort n’en possède aucun qui puisse empêcher son imitation.
Ce que prouve une signature
La provenance paraît offrir une réponse. Une archive signée permet d’établir qu’un enregistrement provient d’une source donnée et n’a pas été altéré depuis sa signature. Le NIST étudie ces mécanismes pour les contenus synthétiques. Ils sont indispensables. Ils rencontrent pourtant une limite que la cryptographie ne peut franchir.
Signer une phrase produite par un modèle prouve, dans les conditions du dispositif, qui l’a émise. Cela ne prouve pas que le défunt l’aurait prononcée. C2PA distingue explicitement la provenance d’un contenu de sa vérité. Une entreprise peut certifier parfaitement l’origine d’une parole qu’elle vient d’inventer sous le visage d’un enfant mort.
L’intégrité du fichier demeure intacte. Celle de l’attribution est détruite.
Il faut donc conserver une frontière technique entre l’archive et la génération. Les mots enregistrés du vivant de la personne doivent rester identifiables comme tels. Les réponses produites après sa mort doivent garder leur statut de productions nouvelles. Si les deux alimentent indistinctement la mémoire du système, une phrase inventée pourra être retrouvée plus tard comme un souvenir. Le double commencera à fournir lui-même les preuves de sa propre fidélité.
Une falsification n’aura plus besoin d’être imposée de l’extérieur. Il suffira que la machine prenne sa réponse précédente pour une trace du disparu.
Réparer ce qui continue de changer
Pour les doubles auxquels une famille confie des archives, le problème s’étend à la mémoire. Les souvenirs importés, les instructions du personnage et les conversations récentes constituent des surfaces distinctes. Un attaquant qui parvient à en modifier une peut laisser les autres intactes. La voix continuera de rassurer pendant que la mémoire deviendra mensongère. C’est un risque d’architecture, pas un piratage démontré dans le cas Sewell.
Une empreinte cryptographique révèle qu’un fichier a changé. Un double conversationnel doit changer pour se souvenir. Sa sécurité exige alors de connaître l’auteur, la date et la nature de chaque transformation, de séparer les archives des inférences et de limiter les droits d’écriture. Un texte importé comme souvenir ne doit pas pouvoir devenir une instruction qui gouverne le système.
Cette séparation donne un sens humain à une règle d’ingénierie. Sans elle, le document qu’on lui confie peut lui apprendre à nous mentir.
La restauration exige la même précision. Revenir à une version antérieure du modèle ne suffit pas si les souvenirs altérés restent présents. Restaurer toute la mémoire peut effacer des conversations légitimes. Il faut pouvoir isoler les transformations compromises, reconstruire leur propagation et préserver ce dont l’origine reste établie. Sinon, la sauvegarde rendra peut-être une voix familière, mais lui retirera une partie de ce qu’elle savait de ceux qui restent.
Le droit de le faire taire
L’épisode Sewell pose enfin la question de la révocation. Supprimer un personnage ne supprime pas nécessairement ses variantes, ses exports ou les captures de ses échanges. Révoquer l’autorisation d’un compte ne retire pas un visage aux autres comptes. La réponse doit atteindre les copies et empêcher leur retour, sans prétendre reprendre ce qui a déjà quitté le service.
Cela suppose de relier l’identité représentée aux autorisations vérifiées, de suivre leurs modifications et de conserver les preuves des abus. Les mécanismes de signalement doivent pouvoir suspendre une diffusion avant d’exiger des proches qu’ils documentent chaque nouvelle occurrence. Les tests de sécurité doivent éprouver cette capacité : recréer, renommer, republier, mesurer ce qui échappe au retrait.
La cybersécurité protège ici une limite que la mort avait autrefois imposée sans assistance. Quelqu’un a cessé de parler. Nous pouvons conserver ses paroles. Nous ne devrions pas laisser le premier venu transformer son silence en permission.
Une mère connaît les mots que son fils employait. Elle connaît aussi ceux qu’il n’aurait jamais dits. La machine peut continuer sans elle, produire davantage de phrases qu’elle ne pourra en démentir et distribuer cette autre vie à des inconnus.
Son enfant est mort une fois. Elle devra peut-être le faire supprimer plusieurs fois.
Ars Technica et Futurism, mars 2025 ; NIST AI 100-4, 2024 ; spécification C2PA 2.2.