Le constat est alarmant : 58% des entreprises du CAC 40 mentionnent lancer des projets d’Intelligence Artificielle dans leur dernier rapport annuel et 2 seulement font le lien avec la cybersécurité. Comment empêcher de manière pragmatique et concrète une future catastrophe ?
L’Intelligence Artificielle (IA) est en train de révolutionner notre quotidien : voiture autonome, biométrie comportementale, médecine prédictive, chatbot intelligent, suggestion de contenu… De nouveaux usages apparaissent chaque jour mais le sujet de la gestion des risques de cybersécurité apportés par cette nouvelle technologie reste rarement abordé.
Quels sont les risques spécifiques associés à l’IA ? Quelles sont les bonnes questions avant de se lancer ? Quelles solutions de sécurisation pour accompagner ces innovations ? Comment les choisir et les mettre en place ?
52% des entreprises françaises utilisent des solutions IA ou en ont le projet
1/3 d’entre elles y allouent déjà un budget annuel supérieur à un million d’euros
71% des acteurs anticipent un budget IA en forte croissance
INTELLIGENCE ARTIFICIELLE : AU-DELÀ DU BUZZWORD, QUEL CONCEPT ?
L’Intelligence Artificielle permet de reproduire l’intelligence humaine. Cela va du programme d’analyse médicale détectant une tumeur jusqu’à celui capable de conduire votre voiture en toute autonomie. Parmi ces applications, celles dont les règles ont été fixées à l’avance par des experts se distinguent de celles dotées d’une faculté à adapter leur comportement en fonction de la situation. Pour ce second cas, les termes d’apprentissage automatique, ou de Machine Learning (ML) sont utilisés.
De nouveaux défis pour les équipes cybersécurité
Pourquoi attaquer l'intelligence artificielle ?
Les attaquants vont principalement chercher à :
/ Détourner le fonctionnement de l’application d’IA, en provoquant volontairement une décision erronée de l’application avec un jeu de données choisi.
/ Saboter le fonctionnement de l’IA, en empêchant ou en perturbant le fonctionnement de l’application.
/ Comprendre et « rétroconcevoir » le modèle en étudiant son comportement. « Voler » puis revendre un modèle peut être très lucratif et des acheteurs seront présents pour gagner du temps dans la perpétuelle course à l’innovation numérique.
/ Dérober les données utilisées par l’application.
Comment attaquer l'intelligence artificielle ?
Les attaques touchant spécifiquement les applications basées sur du Machine Learning peuvent être rassemblées en trois catégories.
Cette technique cible spécifiquement la phase d’apprentissage automatique. Avec l’empoisonnement, un attaquant cherche à modifier le comportement de l’IA dans un sens choisi en influençant les données utilisées pour l’apprentissage. Ces techniques sont particulièrement redoutables lorsque la donnée utilisée pour l’apprentissage est peu maîtrisée : donnée publique ou externe, fréquence d’apprentissage élevée…
Avec l’inférence, un attaquant expérimenté, teste successivement différentes requêtes sur l’application et étudie l’évolution de son comportement. L’attaquant cherche ici soit la récupération des données utilisées par l’IA (en apprentissage ou en production), soit le vol du modèle (ou de certains de ses paramètres).
Avec l’évasion, un attaquant joue sur les données d’entrée de l’application afin d’obtenir une décision différente de celle normalement attendue par l’application. Il cherche à créer l’équivalent d’une illusion d’optique pour l’algorithme, appelé exemple contradictoire (adversarial example), en introduisant un « bruit » judicieusement calculé pour rester discret et ne pas être détecté.
Six points clé pour réussir son projet d'intelligence artificielle en toute sécurité
Voici les six points à ne pas rater pour encadrer les risques liés aux projets métier d’Intelligence Artificielle :
Protéger les données à chaque étape du projet : Il est essentiel de garantir que l’usage souhaité est conforme aux réglementations en vigueur, et notamment à celles liées à de la donnée (RGPD, Hébergeur de Données de Santé, PCI-DSS…). Cela passe par la définition la plus claire possible de la finalité du projet et des traitements de données associés.
Protéger la plateforme Big Data : Dans le cadre des projets de Machine Learning, cette étape prend une dimension particulière. Les données y sont nombreuses et très concentrées, donc particulièrement exposées au risque de vol ou de modification d’information.
Sécuriser le processus d’apprentissage : Cette protection doit se faire à deux niveaux : au niveau des données d’entraînement et au niveau de la méthode d’apprentissage.
Sécuriser l’application : L’essentiel des mesures de sécurité spécifiques au Machine Learning se concentre sur trois aspects : maîtriser ses entrants, fiabiliser le traitement et contrôler ses sorties.
Définir sa stratégie de gestion de risques et de résilience : Afin d’industrialiser la démarche, des guidelines de sécurité par typologie de projets d’IA peuvent être définies. Ces guidelines peuvent par exemple être regroupées par type de données d’entrée, par fréquence d’apprentissage ou par niveau d’exposition de la solution.
Bien réfléchir avant d’externaliser : Certains points de vigilance spécifiques à l’usage du Machine Learning
doivent être encadrés pendant la phase de contractualisation. ( propriété intellectuelle, cloisonnement de l’application entre les différents clients, besoins de réversibilité en fin de contrat).
La nouvelle menace à anticiper : le Deepfake
Le Deepfake désigne la modification d’images, audios ou vidéos via de l’Intelligence Artificielle (et notamment du « Deep Learning ») pour présenter une vision falsifiée (« fake ») de la réalité.
Un prérequis : mobiliser les métiers sur la protection de ces nouveaux systèmes d'IA
L’objectif est dans un premier temps de démontrer la valeur que l’IA peut apporter aux différents métiers de l’entreprise. Ces proofs of value (POV) se déroulent souvent sur des cas d’usages précis basés sur les données existantes de l’entreprise. La sécurité reste alors rarement intégrée dans ces phases d’expérimentation. Dans ce contexte, anticiper les besoins d’intégration des mesures de sécurité en amont est clé pour suivre le rythme des demandes au moment du passage à l’échelle et garantir leur prise en compte par les équipes cybersécurité.
Insights liés
Gérôme Billois
Jules Haddad
Samuel Mangin
Chadi Hantouche
Gwenaëlle Boulet
Claire Delgove
Julien Floch
Ouala Barhoumi