Des modèles d’IA malveillants détectés sur la plateforme open-source Hugging Face

Ils pourraient permettre à des attaquants de prendre le contrôle d’un appareil, ou d’injecter du code malveillant.

Le fournisseur de logiciels de cybersécurité JFrog a révélé, le 27 février 2024, avoir découvert une centaine de modèles d’IA malveillants sur la plateforme collaborative open source Hugging Face. Lancée en 2016, cette dernière propose aujourd’hui plus de 500 000 modèles d’apprentissage automatique open source.

Cette popularité renforce le potentiel de nuisance induit par la présence de code malveillant dans les modèles qu’elle héberge. « Lorsque nous parlons de modèles malveillants, nous désignons ceux qui contiennent des charges utiles réelles et nuisibles. Ce décompte exclut les faux positifs, garantissant une véritable représentation de la répartition des actions visant à produire des modèles malveillants sur Hugging Face », lit-on dans le rapport de JFrog.

Ces modèles malveillants visent pour la plupart une prise de contrôle par des attaquants de l’appareil concerné, notamment en mettant en place des reverse shells. Certains permettent l’injection de code arbitraire. Dans la majorité des cas, la charge malveillante est indétectable par l’appareil infecté.

Parmi les développeurs de ces modèles problématiques, JFrog a identifié plusieurs chercheurs en intelligence artificielle. Selon les auteurs du rapport, ces chercheurs effectueraient des tentatives « pour obtenir l’exécution de code à des fins apparemment légitimes ».

Hugging Face a réagi en indiquant que la plateforme analysait régulièrement les modèles qu’elle met en ligne, notamment pour déterminer s’ils contiennent des charges malveillantes. JFrog conclut en mettant en garde les utilisateurs de ce type de ressources open source. Pour ne pas courir de risques, une étude du code proposé semble un préalable indispensable à toute implémentation opérationnelle.