OpenAI, Anthropic : les laboratoires veulent des contrôleurs, mais négocient déjà leurs pouvoirs

Les géants de l’IA réclament des audits indépendants et une réglementation contraignante. Mais qui choisit les contrôleurs, ce qu’ils peuvent examiner et les risques justifiant une intervention ? Anthropic avance ses propres réponses.

Et si les entreprises contrôlées rédigeaient elles-mêmes les règles de leur surveillance ? Le 16 octobre, Reuters [1] a révélé qu’Anthropic avait soumis à des parlementaires américains un projet de loi encadrant la sécurité des modèles d’IA les plus avancés. Le texte permettrait de suspendre un modèle présentant un risque imminent et prévisible de plus d’un milliard de dollars de dommages, ou de mort ou blessures graves pour plus de cinquante personnes. Une réglementation contraignante, certes, mais avec un seuil d’intervention soigneusement défini par l’un des premiers intéressés.

Reste à définir ce qui mériterait pareille intervention. Les risques rapportés concernent les armes biologiques, les cyberattaques et la perte de contrôle des modèles. La persuasion politique, la manipulation des recommandations ou l’empoisonnement des sources, examinés dans notre enquête sur les LLM comme surface d’attaque cognitive [2], ne figurent pas parmi les motifs de suspension identifiés. Le projet complet n’étant pas public, cela ne permet pas de conclure à leur exclusion de toute réglementation.

Les évaluateurs indépendants pourraient être rémunérés par les entreprises contrôlées, à condition que leur paiement ne dépende pas de leurs conclusions. Les risques graves devraient être signalés au département du Commerce, qui pourrait demander à un juge de suspendre un modèle. Cette initiative intervient au moment où l’indépendance des organismes chargés d’évaluer les modèles d’OpenAI et d’Anthropic suscite de sérieuses interrogations.

Des audits indépendants, sous conditions

Par ailleurs, le 13 octobre, une enquête de Reuters [3] révélait les négociations entre les deux laboratoires et leurs évaluateurs sur le droit de publier les conclusions des audits. Dans une enquête sur un incident de sécurité impliquant des agents d’OpenAI, les organismes METR (Model Evaluation and Threat Research) et Redwood Research avaient notamment modifié la structure, l’accentuation et le ton de leur rapport après les observations d’OpenAI. Les chercheurs assurent toutefois que leurs conclusions n’ont pas été substantiellement altérées. On est obligés de les prendre au mot… avec des pincettes. Le lendemain en effet, METR [4] reconnaissait lui-même les limites de son indépendance : les évaluateurs dépendent des laboratoires pour accéder aux modèles, obtenir les informations nécessaires et parfois publier leurs résultats. Une indépendance formelle qui ne garantit donc pas une indépendance substantielle. Notre enquête sur le pacing avait déjà documenté cette dépendance de METR [5] et examiné le risque de voir ces contrôleurs s’inscrire dans une architecture de régulation public-privé [6].

Dans le même ordre d’idées, le 15 octobre, Anthropic [7] annonçait avoir accueilli six chercheurs de METR, dotés d’un accès à ses outils internes comparable à celui de ses propres équipes d’évaluation, le tout avec une avancée réelle : l’entreprise renonce à son droit de veto sur leurs publications. Elle conserve néanmoins le pouvoir d’imposer des suppressions d’informations relevant de catégories confidentielles prédéfinies, dont elle détermine elle-même l’application.

Autrement dit, les auditeurs peuvent examiner davantage de choses et publier leurs conclusions… tant que cela ne gêne pas trop le laboratoire.

Le même jour, Axios [8] révélait que la Federal Trade Commission (FTC), le régulateur américain notamment chargé de protéger les consommateurs, avait adressé à OpenAI et Anthropic des demandes contraignantes de documents sur leurs incidents de sécurité, leurs dispositifs de protection et leurs pratiques commerciales. Cette fois, le contrôle ne repose plus sur le bon vouloir des industriels.

Autre illustration du même phénomène, devant une commission parlementaire du Royaume-Uni, les représentants d’OpenAI et d’Anthropic ont également réclamé, le 13 octobre, des règles contraignantes. Or, le responsable de l’AI Security Institute britannique reconnaissaitque son organisme dépendait encore de la coopération volontaire des laboratoires pour examiner leurs modèles [9].

Les laboratoires acceptent donc d’être contrôlés… à leurs conditions. Le 18 octobre, Anthropic [10] annonçait encore vouloir consacrer 5 % de son capital à un fonds d’intérêt général, sous réserve de l’accord de ses actionnaires. Un fonds dont les règles de gouvernance restent à préciser et dont la structure sera entièrement détenue par l’entreprise. Décidément, chez les géants de l’IA, l’intérêt général se construit beaucoup en interne.