9 min

Comment contrôler les algorithmes ?

L’utilisation abusive d’un algorithme pour prévenir les tentatives de fraude par les services fiscaux hollandais a entrainé des discriminations à grande échelle. Une affaire qui a provoqué un scandale national et qui rappelle l’importance de disposer d’instruments pour contrôler l’usage de l’IA.

Aux Pays-Bas, une partie des frais de garderie sont récupérables sous forme d’allocations. Pour éviter les abus, la Tax and Customs Administration (l’équivalent hollandais du fisc) s’est équipée à partir de 2012 d’outils de détection des fraudes fonctionnant à l’aide d’un algorithme.

Les sanctions prises par les services fiscaux entre 2012 et 2019 se sont avérées sévères : 26 000 ménages ont été accusés d’avoir indûment perçu des allocations familiales et ont été sommés de les rembourser. Ces mesures ont par ailleurs été prises pour des raisons dérisoires, comme des formulaires de demande incomplets, mal signés ou encore des revenus présentés de manière imprécise. Les personnes ayant dû rembourser une somme supérieure à 3 000 € ont aussi inscrites au fichier des auteurs de tentatives de fraudes ou de négligences financières graves, ce qui leur a fermé l’accès aux services de rééchelonnement de dettes.

Prévenue en 2017 de soupçons d’abus, l’Autoriteit Persoonsgegevens (AP), homologue de la CNIL aux Pays-Bas, a mené une enquête au sein du ministère des Finances hollandais. Ses conclusions ont fait l’objet d’un rapport parlementaire présenté en décembre 2020. Son contenu fut tel qu’il entraîna en janvier 2021 la démission du gouvernement du Premier Ministre Mark Rutte.

Des résultats accablants

L’enquête sur ce que les Hollandais nomment désormais la toeslagenaffaire (l’affaire des allocations pour la garde d’enfant) a en effet révélé que les autorités disposaient d’une base de données constituée clandestinement sur la situation administrative et sociale de plusieurs centaines de milliers de personnes. Celles-ci ignoraient l’existence et les raisons de leur inscription et n’avaient donc aucun recours pour demander leur effacement. Cette base a été obtenue par un système de détection des fraudes, nommé Systeem Risico Indicatie (ou SyRI), qui collectait des données à partir de différents fichiers de l’administration hollandaise. Son utilisation a été jugée illégale par un tribunal national en 2020 (lors d’une affaire distincte de ce scandale) parce qu’il contrevenait au droit au respect de la vie privée, défini par la Convention européenne des droits de l’homme.

Dans ce fichier, les fonctionnaires opéraient une distinction entre citoyens hollandais et ceux ayant une double nationalité, bien qu’une loi de 2014 avait aboli cette distinction lors de procédures administratives. La base était ensuite analysée par un algorithme de deep learning pour identifier les profils les plus susceptibles d’être à l’origine de fraude. Cet algorithme a fait preuve de biais en sélectionnant des personnes à partir de critères ayant peu de choses à voir avec leur situation fiscale. La nationalité mais aussi les noms et prénoms ou encore les lieux de résidence étaient ainsi considérés comme des facteurs de risque. Par conséquent, des familles d’origine marocaine, turque ou surinamienne étaient majoritaires parmi celles ciblées par l’administration fiscale.

Au terme de cette enquête, les services fiscaux hollandais ont dû régler deux amendes infligées par l’AP pour avoir contrevenu au RGPD. La première fois au mois de décembre 2021 d’un montant de 2,75 millions d’euros pour la conservation d’informations sur la double nationalité de certains contribuables et la seconde en mai 2022 de 3,7 millions d’euros pour avoir conservé une liste dans laquelle figuraient les anciennes condamnations pour fraudes servant à justifier le refus de certains services ou à motiver une enquête du fisc. Enfin, chaque personne prise pour cible a reçu une indemnisation du gouvernement hollandais d’un montant de 30 000 €.

Les enjeux du contrôle des algorithmes

Le scandale des allocations familiales n’a pas seulement marqué les esprits à cause de l’ampleur du préjudice et des souffrances causées. Il rappelle l’importance de protéger l’intérêt et les droits des individus pendant l’usage d’outils prenant automatiquement des décisions administratives (Automated decision making). L’existence de biais algorithmiques n’est pas une nouveauté et le manque de supervision de l’utilisation de l’IA, non seulement perpétue mais surtout justifie des discriminations, et ce à grande échelle. Ces dernières ont certes pour origine des manquements d’une gravité sans précédent de la part de l’administration hollandaise (fichage illégal des citoyens en fonction de leurs origines, refus de justifier les demandes de remboursement), mais les algorithmes eux-mêmes ont eu un rôle considérable en repérant des individus à partir de données personnelles collectées et conservées à leur insu.

Par ailleurs, ce scandale a eu pour conséquence de rendre trouble la notion même de responsabilité en rendant opaques les motifs de décisions administratives. En se perpétuant, cette situation pourrait devenir kafkaïenne : un agent des services fiscaux, qui utiliserait de bonne foi cet algorithme pour consulter une base de données mais sans connaître toutes les colonnes et les informations qu’elle contient, serait malgré lui complice du fonctionnement biaisé de l’administration que l’algorithme a causé. Il enquêterait alors sur des citoyens sans savoir qu’ils ont été sélectionnés à cause de leurs origines. Si la justice est aveugle, l’injustice pourrait désormais le devenir aussi. C’est la raison pour laquelle il est impératif de renseigner le plus possible sur les conditions dans lesquelles est employée l’intelligence artificielle. Comment atteindre cet objectif ?

Des registres dans lesquels sont publiquement décrits les algorithmes

Dans un rapport publié en octobre 2021 intitulé « Xenophobic Machine », le bureau hollandais de l’ONG Amnesty International préconisait, du fait de l’affaire, la création d’un organisme indépendant ayant pour mission de surveiller l’utilisation de l’IA. L’ONG précisait que sa mission devrait prévenir toute atteinte aux droits humains fondamentaux. À ce stade, aucun organisme n’a encore vu le jour et le gouvernement y a répondu par une grille baptisée « Impact Assessment Mensenrechten en Algoritmes » que l’on peut traduire par « évaluation des risques d’atteintes aux droits humains des algorithmes ». Il s’agit d’un ensemble de réponses pour décrire l’usage d’un algorithme et les risques qui en sont issus.

D’autres initiatives de ce type ont lieu à travers le monde pour rendre responsable et explicable l’IA. Elles portent sur les futures obligations légales à respecter, les démarches pour définir une utilisation des algorithmes prudente et respectueuse des personnes ou encore la mise au point d’outils pour expliquer leur fonctionnement.

Des chercheurs, fabricants et membres du Parlement européen ont ainsi créé en 2018 un groupe de réflexion nommé « AI 4 people » pour définir des conditions permettant de rendre inoffensive l’Intelligence artificielle. Ces travaux sont à l’origine des lignes directrices de l’UE publiées en avril 2019 en matière d’éthique pour une IA digne de confiance. Une autre association, Algorithm Audit, a été créée en 2021 aux Pays-Bas pour rendre possible la réédition de comptes des organismes usant d’algorithmes. Dans cette optique, elle se donne pour mission de développer la pratique de l’audit d’algorithmes pour fournir aux autorités européennes des outils et le savoir-faire pour appliquer le futur règlement européen « AI Act ».

Certains acteurs utilisant des solutions d’IA font des efforts. Le droit à l’explication est prévu par le RGPD, dans la mesure où un algorithme fonctionne à partir de données personnelles collectées par une administration. Un citoyen peut alors en demander une à toute agence publique ayant pris une décision administrative. Pour être capables de fournir une réponse en pareil cas, certaines d’entre elles, comme les municipalités d’Helsinki, de Nantes ou d’Amsterdam, tiennent des registres publics dans lesquels sont indiqués les données et les algorithmes utilisés par leurs services. Ces registres renseignent aussi sur les risques issus de leur utilisation et les modalités de supervision prévues. Une démarche qui, dans le cas d’Amsterdam et d’Helsinki, a pour origine la décision du prestataire ayant conçu ces solutions, l’entreprise finlandaise Saidot, de faire preuve de transparence.

Des mesures pour rendre explicables l’IA sont également prises à travers le monde. La plus aboutie d’entre elles reste l’adoption au Royaume-Uni de standards pour la transparence au sujet des algorithmes utilisés par l’administration (Algorithmic Transparency Standard). Il s’agit de mesures pour décrire dans le détail les outils fonctionnant avec une IA et plus particulièrement les opérations qu’accomplissent les algorithmes, les risques qui y sont associés et les coordonnées des responsables de leur utilisation parmi l’administration britannique. Leur application sera confiée à une structure pilote qui enquêtera auprès des agences publiques. Elle pourra procéder à des corrections pour permettre au public de disposer de davantage d’informations.

La surveillance des algorithmes inscrite dans la loi

Aux États-Unis, l’« Algorithmic Accountability Act » adopté en 2022, rend obligatoire la conduite d’audit des systèmes de prise de décisions automatique. Il concerne les entreprises présentes aux U.S.A. (ayant un chiffre d’affaires supérieur à 50 millions de dollars) pour vérifier l’absence de biais des algorithmes utilisés. De son côté, l’Union européenne promulguera au cours de l’année 2022 un règlement, l’AI Act, qui fixera des obligations en matière de transparence des algorithmes. Il prévoit notamment l’interdiction d’évaluation de personnes physiques « en fonction de leur comportement social ou de leurs caractéristiques personnelles ». Enfin, l’utilisation de l’IA à des fins répressives sera proscrite.

Mais comment s’assurer que ces lois soient appliquées ? Le monde de la recherche s’intéresse aussi aux outils pour expliquer les décisions prises à l’aide de l’IA. Il travaille ainsi à mettre au point des algorithmes dits « contrefactuels ». Ceux-ci fonctionnent en reproduisant les opérations réalisées par un autre algorithme, mais à partir de données initiales modifiées. Ainsi, une personne à qui une banque aurait refusé un emprunt, pourrait se soumettre à un tel algorithme après avoir renseigné des informations sur son profil (revenus, patrimoine, état de santé). L’algorithme contrefactuel va alors reproduire ces opérations mais en modifiant les revenus ou le patrimoine pour identifier les conditions grâce auxquelles le résultat souhaité, à savoir l’octroi du prêt, sera obtenu. Cette technologie, bien que prometteuse, est néanmoins loin d’être aboutie.

Le travail pour réussir à contrôler le fonctionnement des algorithmes est en cours. Si nul ne peut dire quand il sera terminé, la seule certitude est qu’il requiert la collaboration d’acteurs divers (chercheurs, dirigeants politiques, représentant des intérêts de la société civile). Leur vigilance sera nécessaire pour justifier toutes les décisions administratives à celles et ceux sur lesquelles elles s’exercent. Parmi les motifs d’indignation de la population hollandaise pendant la toeslagenaffaire, l’absence d’explications fournies aux familles contraintes de se séparer ou de faire des sacrifices financiers importants n’est pas la moins importante. La prévention des biais algorithmiques confirme que si la confiance n’exclut pas le contrôle, le second est nécessaire à la première.

Partager cet article avec un ami