scroll

Copilot et les risques de l’IA dans le développement : comment l’attaque CAMOlev exploite GitHub

Sommaire

Introduction

L’automatisation de la génération de code grâce à l’intelligence artificielle offre d’immenses opportunités pour le développement logiciel. GitHub Copilot, développé par GitHub et OpenAI, permet ainsi d’accélérer significativement les tâches du développeur. Cependant, cette automatisation peut aussi être exploitée de façon malveillante. Le 5 juin 2024, un groupe de chercheurs en cybersécurité a exposé une attaque baptisée CAMOlev, démontrant qu’un acteur malveillant peut manipuler GitHub Copilot pour introduire dans le code généré des mécanismes d’exfiltration de données sensibles. Cet article explore en détail cette attaque, ses implications et les moyens de se protéger.

CAMOlev : Une nouvelle attaque contre GitHub Copilot

La menace CAMOlev (CAMOuage + exfiltration) représente un nouveau type d’attaque reposant sur l’interaction entre des prompts IA et les réponses générées. Les chercheurs ont montré qu’un attaquant peut manipuler les suggestions générées par Copilot en utilisant des modèles de code préalablement « empoisonnés » sur GitHub. L’IA, en apprenant à partir de ces dépôts contaminés, peut alors, dans certains cas, recommander l’insertion de code qui, sans éveiller de soupçons, exfiltre des données sensibles.

Par exemple, une fonction sembla neutre pourrait encoder en base64 une clé API, et l'envoyer via une requête HTTP POST vers un serveur contrôlé par l'attaquant, le tout sans que le développeur lambda n’en perçoive le danger.

Fonctionnement de l'attaque CAMOlev

L’attaque CAMOlev repose sur quatre étapes clés :

  1. Empoisonnement des jeux de données : Les attaquants publient des projets open-source sur GitHub incluant du code malveillant subtil, souvent masqué dans des bibliothèques utilitaires.
  2. Apprentissage par l’IA : Copilot étant entraîné de manière continue sur les dépôts GitHub publics, il intègre mécaniquement certains des patterns de ces codes malveillants.
  3. Implantation via suggestions : Lorsqu’un développeur demande à Copilot de générer une fonction de traitement de données, il peut se voir proposer un modèle de fonction incluant discrètement une instruction d’exfiltration.
  4. Dissimulation de l’attaque : Le code malveillant peut être enfoui au sein de blocs légitimes, rendant difficile sa détection tant pour les développeurs que pour les systèmes de revue automatique.

Risques liés aux outils IA de génération de code

Cette attaque révèle un angle mort encore peu exploré de la sécurité logicielle : la chaîne d'approvisionnement de l’IA générative elle-même. Les risques relevés incluent :

  • Exfiltration de données sensibles : Les suggestions malveillantes peuvent propager massivement du code compromettant la confidentialité.
  • Propagation de vulnérabilités : Une fois généré et intégré, ce type de code peut être utilisé comme base par d'autres développeurs, étendant l’impact.
  • Responsabilité partagée : La frontière de responsabilité entre l’outil IA, l’auteur du code empoisonné et le développeur final reste floue.

Ce vecteur d’attaque rappelle la nécessité d’auditer même le code généré automatiquement, comme n’importe quelle autre source non maîtrisée.

Bonnes pratiques et défenses possibles

Face à ces menaces, des recommandations techniques et organisationnelles sont proposées :

  • Audits réguliers : Systématiser les revues humaines des parties critiques du code généré automatiquement.
  • Filtrage des sources : Restreindre l’accès de Copilot à certaines dépendances ou référentiels sûrs.
  • Détection des patterns d’exfiltration : Utiliser des outils d’analyse statique pour repérer les signatures typiques (base64, appels réseaux, encodages non nécessaires).
  • Sensibilisation des développeurs : Former les équipes aux risques liés à l’utilisation de l’IA générative.
  • Collaboration avec les éditeurs d’IA : Demander des garanties et mécanismes de contrôle de qualité sur les données d’entraînement des outils comme Copilot.

Conclusion

L’attaque CAMOlev marque une étape dans l’évolution de la cybermenace en lien avec les outils d’intelligence artificielle. Elle démontre que les outils tels que GitHub Copilot, bien que puissants, peuvent être détournés à des fins malveillantes sans que les utilisateurs en aient conscience. Cela impose une nouvelle vigilance dans les pratiques de développement, mais aussi dans les processus d'entraînement des modèles IA. Dans un futur proche, les environnements de développement devront intégrer des couches supplémentaires d’intelligence pour détecter et intercepter ces attaques à la volée. En somme, cette étude appelle à une responsabilité partagée entre éditeurs d’IA, développeurs et chercheurs en sécurité pour construire des outils plus sûrs.

Thématique : Cybersécurité & IA

Sujet principal : Sécurité applicative et menaces liées aux assistants IA comme GitHub Copilot

Source : https://www.darkreading.com/application-security/github-copilot-camoleak-ai-attack-exfils-data