Skip to content
AI & Innovation, Cyber Resilience & Data Security

How AI Has Impacted the Security Mission

CISOs must simultaneously defend against AI attacks and enable teams to use it safely.


Partout où l’on va, on entend toujours le même discours. L’IA a tout changé, les pirates sont plus rapides et la gouvernance est essentielle. C’est un discours que 50 autres RSSI pourraient tenir.
Après 20 ans passés dans la cybersécurité, j’ai le recul nécessaire. J’ai vécu des bouleversements technologiques majeurs : Internet, le mobile, le cloud… et bien d’autres encore. Pour moi, ce qui est intéressant, c’est de comprendre en quoi l’IA diffère fondamentalement de toutes les autres transitions technologiques.

L’IA n’a pas remplacé la mission du RSSI. Certes, elle a changé la donne en termes de rapidité, mais une bonne sécurité a toujours consisté à former une équipe qui ne se contente pas de protéger la technologie, mais qui aide également l’entreprise à s’imposer sur le marché où elle est en concurrence. Tout comme pour Internet, le mobile et le cloud, s’assurer que l’entreprise utilise correctement l’IA est un enjeu incontournable.

1. À quoi ressemblait mon travail il y a un an ?

Il y a un an, mes priorités auraient été très familières à n’importe quel RSSI : rançongiciels, gestion des identités, gestion des vulnérabilités, risques liés aux tiers, sécurité du cloud, protection des données, résilience. L’IA figurait à l’ordre du jour, mais principalement en tant que risque lié aux technologies émergentes. Aujourd’hui, elle fait partie intégrante de presque toutes ces discussions.

Le monde de l’année dernière n’était pas simple. Nous devions protéger les identités, les systèmes, les applications, l’infrastructure et les données. Aujourd’hui, tous ces enjeux persistent, mais nous avons affaire à des systèmes capables de traiter d’énormes quantités d’informations, d’en générer de nouvelles, de formuler des recommandations, d’écrire des logiciels, d’automatiser des flux de travail et, de plus en plus, d’agir à la place des humains. Les anciens problèmes n’ont pas disparu. L’IA a fait son apparition et a accéléré le rythme de l’architecture de sécurité existante.

2. Qu’est-ce qui a changé, et pourquoi ce changement n’a-t-il pas été progressif ?

Le principal tournant réside dans l’effondrement du coût des capacités. Un pirate n’a plus besoin des mêmes compétences ni du même investissement en temps. Auparavant, il devait consacrer d’innombrables heures à perfectionner ses compétences en programmation ou à la production de contenu pour opérer à grande échelle, ainsi qu’à identifier et affiner ses cibles. Dans le même temps, mes propres collaborateurs disposent soudainement d’outils puissants capables d’ingérer des informations d’entreprise et de produire du code, des analyses et du contenu.
Nous sommes donc confrontés à deux accélérations simultanées. Ce qui a changé, ce n’est pas simplement que les attaquants se sont dotés de l’IA. Tout le monde s’est doté de l’IA. Et cette adoption s’est faite de bas en haut. Les employés n’ont pas attendu la stratégie d’IA de l’entreprise. Les développeurs ont commencé à utiliser des assistants. Les utilisateurs ont testé les grands modèles de langage (LLM) publics. Les services métier ont découvert des opportunités d’automatisation.
Pour la plupart des technologies d’entreprise majeures, les équipes chargées de la sécurité disposaient d’une certaine marge de manœuvre pour préparer l’environnement avant une adoption généralisée. Avec l’IA générative, l’adoption a souvent eu lieu avant la mise en place d’une gouvernance.

3. Comment la mission elle-même a évolué

Historiquement, les responsables de la sécurité se posaient la question suivante : « Comment protéger cette technologie ? » Mais l’IA soulève une autre question : « Comment permettre à l’entreprise d’utiliser cette technologie en toute sécurité ? »
Cela amène les RSSI à se poser des questions qui ne relèvent pas uniquement de la cybersécurité :

  • Quelles informations les collaborateurs peuvent-ils fournir aux systèmes d’IA ?
  • Quels sont les modèles et les services agréés ?
  • Que deviennent les requêtes et les données téléchargées ?
  • Où sont stockées les données de l’entreprise ?
  • Comment gérons-nous les identités, les agents et les autorisations liés à l’IA ?
  • Comment valider le code généré par l’IA ?
  • Quel niveau de contrôle humain est nécessaire ?
  • Comment s’articulent les responsabilités en matière juridique, de confidentialité, de sécurité, de gouvernance des données et de conformité ?

Cela dit, les RSSI doivent veiller à ne pas devenir des luddites, ni la « police de l’IA ». Le rôle du RSSI consiste à aider à définir les limites de sécurité à l’intérieur desquelles l’entreprise peut évoluer rapidement. Si la stratégie de sécurité pour l’IA se résume à « ne pas l’utiliser », vous avez déjà perdu. Les gens l’utiliseront de toute façon. Notre travail consiste à faire en sorte que la voie sécurisée soit la plus facile.

4. Ce que j’ai dû réapprendre ou désapprendre

Il y a une chose que j’ai dû désapprendre : l’idée selon laquelle les équipes de sécurité doivent parfaitement maîtriser une technologie avant que l’entreprise ne l’adopte. Avec l’IA, l’adoption et l’expérimentation vont de pair avec notre compréhension des risques. Nous devons favoriser une adoption intelligente et réfléchie.

Le déterminisme est un autre aspect à prendre en compte. Les professionnels de la sécurité ont été formés à évaluer des systèmes où, en gros, l’entrée A devait produire la sortie B. Les systèmes génératifs ne se comportent pas de manière aussi linéaire. Nous avons l’habitude de nous demander si un contrôle fonctionne. L’IA nous oblige à nous interroger davantage sur la fiabilité de son fonctionnement, sur les conditions dans lesquelles elle échoue et sur ce qui se passe lorsqu’elle échoue. C’est intellectuellement intéressant.
Vingt ans d’expérience dans le domaine de la sécurité vous apprennent à reconnaître des schémas. Aujourd’hui, l’IA me rappelle que la reconnaissance de schémas peut devenir un handicap lorsque les hypothèses sous-jacentes changent.
Au départ, je pensais que le principal problème serait l’utilisation malveillante de l’IA par des tiers à notre encontre. Mais j’ai rapidement découvert que mon impact le plus important se situerait en interne, au niveau de la gouvernance des données, de l’adoption en interne et de l’accompagnement des métiers.
5. Prochaines étapes / conseils à mes pairs
Tout d’abord, ne créez pas un univers distinct dédié à la sécurité de l’IA.Intégrez l’IA aux contrôles que vous maîtrisez déjà : identité, classification des données, principe du moindre privilège, journalisation, risques liés aux tiers, développement sécurisé, réponse aux incidents et résilience.Deuxièmement, accordez une attention particulière aux agents.Aujourd’hui, l’interaction dominante suit souvent le schéma suivant : humain → modèle → réponse. L’architecture la plus déterminante est de plus en plus celle-ci : humain → agent → outils → systèmes → données → actions. Dès lors que l’IA est capable d’entreprendre des actions (plutôt que de se contenter de générer du texte), l’autorisation, l’identité, la provenance, la surveillance et l’ampleur des répercussions prennent une importance bien plus grande. Je m’inquiète moins qu’une IA dise quelque chose de faux que qu’un agent IA soit autorisé à faire quelque chose de faux.Troisièmement, protégez la couche de données.Les modèles évolueront rapidement. Les fournisseurs changeront. Les architectures évolueront. La plus grande entreprise d’IA d’aujourd’hui et le modèle de pointe le plus en vogue deviendront bientôt du Betamax. Vos atouts durables en matière de sécurité résident dans le fait de savoir quelles données vous possédez, où elles se trouvent, qui peut y accéder et ce que ces personnes sont autorisées à en faire.
Quatrièmement, ne mesurez pas le succès à l’aune de la quantité d’IA que vous bloquez.Une organisation de sécurité sophistiquée doit permettre une utilisation légitime tout en limitant les risques inacceptables. Chaque grande évolution technologique s’accompagne d’une période où les capacités évoluent plus vite que les contrôles. Cela s’est produit avec Internet. Cela s’est produit avec la téléphonie mobile. Cela s’est produit avec le cloud. L’IA le fait à une vitesse extraordinaire.

Pour bien gérer cette situation, il n’est pas nécessaire d’éliminer complètement les risques liés à l’IA. Il faut décider de manière réfléchie quels risques vous êtes prêt à prendre, définir des limites autour de ceux-ci, tout en permettant à l’entreprise de continuer à aller de l’avant.  

L’IA n’a pas aboli les principes fondamentaux de la cybersécurité, mais elle modifie les enjeux économiques et la vitesse à laquelle ceux-ci évoluent. Après 20 ans de transformations successives en matière de sécurité, l’IA est peut-être la première à obliger le RSSI à se défendre contre cette technologie, à la protéger et à aider l’entreprise à l’adopter, tout cela simultanément. C’est ce qui en fait unvéritablementdéfi.

Bill O’Connellest directeur de la sécurité chez Commvault.

More related posts


AI Data Resilience

Read more about AI Data Resilience