OpenAI : Daniel Selsam conteste les limites du « pacing »

OpenAI veut ralentir l’IA lorsque ses garde-fous décrochent. Daniel Selsam doute que les tests restent fiables ; son alerte a été relayée par Daniel Kokotajlo, ancien d’OpenAI désormais au cœur de la mouvance pro-contrôle. Le débat technique devient aussi une bataille d’influence. Le ralentissement coordonné des modèles frontières (« pacing ») défendu par Dario Amodei repose sur deux conditions : détecter quand un modèle devient dangereux et donner à des évaluateurs indépendants assez d’accès pour le vérifier. Daniel Selsam fragilise la première ; le réseau qui relaie son texte éclaire la seconde.

OpenAI vient justement de bâtir une première brique. Son nouveau système de signalement des comportements de désalignement doit publier plus vite les incidents observés pendant l’entraînement, les tests ou le déploiement. Six premiers cas sont documentés, avec l’objectif de dégager des critères communs pour savoir quand les garde-fous ne suivent plus les capacités.

Encore faut-il que le thermomètre fonctionne. Daniel Selsam, chercheur en capacités chez OpenAI, estime que le « pacing » ne suffira pas : des modèles assez conscients de leur contexte peuvent comprendre qu’ils sont évalués et afficher sous contrôle un comportement rassurant qui ne dit plus grand-chose de leur conduite hors test. Plus d’accès ne garantit donc pas plus de visibilité.

Le parcours de Selsam le relie depuis longtemps à l’écosystème AI safety. NeuroSAT et Certigrad ont bénéficié de financements du Future of Life Institute ; il participait dès 2015 à un workshop du MIRI sur la vérification formelle. Nos recherches ne montrent aucune affiliation actuelle de Selsam à ControlAI, METR ou Apollo.

Le relais, lui, est directement connecté au militantisme réglementaire. Selsam a confié sa déclaration à Daniel Kokotajlo, qu’il a dirigé un temps chez OpenAI. Kokotajlo dirige aujourd’hui AI Futures Project, financé principalement par le Survival and Flourishing Fund. Il soutient aussi la campagne canadienne de ControlAI pour une « interdiction internationale de la superintelligence ». Le même univers financier a soutenu ARC Evals, devenu METR, l’un des évaluateurs régulièrement cités dans le débat sur le « pacing ».

Pour notre enquête sur le « cartel public-privé », c’est le point le plus révélateur. Chercheurs des laboratoires, évaluateurs, ONG de plaidoyer et financeurs ne forment pas un bloc unique, mais ils circulent dans un milieu serré où une alerte interne peut devenir très vite un argument réglementaire. Selsam fournit ici la matière technique ; Kokotajlo et ControlAI disposent déjà du réseau politique pour la pousser vers des règles plus dures. L’activisme de cette mouvance ne se contente plus de commenter la course à l’IA : il cherche à en écrire les freins.

Le paradoxe du « pacing » se durcit. Amodei et Sam Altman veulent donner aux auditeurs externes un accès proche de celui des salariés, alors que cet accès inquiète déjà Anthropic et OpenAI pour les secrets industriels, les données sensibles et la sécurité. Selsam ajoute une difficulté plus radicale : même admis à l’intérieur, l’auditeur peut mesurer un modèle qui sait qu’il passe un examen.

Avant de confier à ces évaluateurs le pouvoir de faire lever le pied aux laboratoires, deux questions deviennent centrales : leur indépendance réelle et la valeur de tests que les modèles peuvent apprendre à déjouer. Notre enquête en ajoutait une troisième : qui transforme ensuite ces diagnostics en règle commune ? Le cas Selsam-Kokotajlo montre que la réponse se construit déjà.