From OWASP GenAI Security Project and NIST AI Risk Management Framework.

The post AI Security Threats, controls and life cycle appeared first on Cyriskintel.

Un des exemples fréquemment rencontrés dans le domaine de la gestion des risques, c’est l’utilisation d’une 𝐠𝐫𝐢𝐥𝐥𝐞 𝐝’𝐢𝐦𝐩𝐚𝐜𝐭𝐬 métier (en France), d’affaires (au Québec), organisationnels (dans tous mes référentiels, car tout impact doit affecter l’organisation et pas seulement les affaires).

Que vous dit-on ? Une fois défini un scénario de risque, on l’évalue par rapport à l’impact (conséquence pour ISO 27005:2022) que celui-ci aurait sur l’organisation, pour que celle-ci se sente concernée. Généralement, on utilise des types d’impacts très génériques. Ce sont des « valeurs » de l’organisation qui peuvent être affectés de manière négative par les événements d’origine cyber scénarisés.

Le NIST a deux définitions intéressantes relatives à la sécurité de l’information, qui se complètent, et qui en disent tout de suite beaucoup plus que la définition de ISO 27000 :

1. La magnitude de dommage qui peut être attendue comme conséquence d’une divulgation non autorisée d’informations, d’une modification non autorisée de l’information, de la destruction non autorisée d’informations ou de la perte d’information ou d’indisponibilité du système d’informations.

2. L’effet sur les opérations, les actifs, les individus d’une organisation, les autres organisations ou la Nation résultant d’une perte de la confidentialité, de l’intégrité ou de la disponibilité d’un système d’information.

L’impact est donc l’estimation d’une conséquence. Et la conséquence est un événement (survenue d’un ensemble de circonstances attirant l’attention). Ceux qui me suivent ou qui ont suivi une de mes formations en gestion des risques, ont l’habitude de me voir dsitinguer les événements en événement causal et événement conséquent (désolé pour certains archaïsmes). Un scénario de risque n’est que la juxtaposition de ces deux types d’événements interdépendants, l’un étant la cause de l’autre. Nous refusons d’utiliser le terme plus simple de « cause » car il conduirait rapidement à identifier des faiblesses ou des vulnérabilités en lieu et place à des événements initiaux. Or une faiblesse ou une vulnérabilité décrit un état (statique) et non un événement (dynamique). Sans aller trop dans le détail, il est possible de construire des arbres entiers de causes et de conséquences en retraçant tous les événements consécutifs depuis l’état de faiblesse originelle jusqu’à l’événement final entraînant des conséquences larges sur l’organisation. C’est cet enchaînement d’événements qui constitue le scénario de risque le plus complet.

Parmi les impacts qui sont le plus souvent considérés, on trouve :

• L’impact réputationnel (notion « tarte à la crème ») : événements ayant un effet sur la réputation de l’organisation
• L’impact financier (notion très floue, tout n’a-t-il pas une conséquence financière 𝑖𝑛 𝑓𝑖𝑛𝑒 ?) : événements ayant un effet sur les finances de l’organisation
• L’impact stratégique (qu’est-ce qu’une stratégie ?)  : événements ayant un effet sur la stratégie de l’organisation
• L’impact légal ou réglementaire : provenant de la non-application des lois et des règlements applicables
• L’impact opérationnel  : événements ayant un effet sur les opérations de l’organisation (quand ce type d’impact maque, le monde semble dépeuplé)

Ces impacts définissent des types ou des catégories d’impacts. Chaque organisation a ses propres biais pour les identifier et les sélectionner. Une première ligne de défense héritera très certainement des référentiels imposés par la deuxième ligne de défense, que ceux-ci soient pertinents ou non (voir un prochain article sur les méfaits de la propagation des erreurs ou l’idée que la conformité à de mauvais référentiels doive l’emporter sur la pertinence conduisant au non respect des réféfentiels). Il y a d’emblée beaucoup de choses à dire sur cette typologie fragile, on y reviendra. Maintenant, peuvent-ils s’appliquer à un scénario de cybersécurité ?

Prenons un exemple de scénario issu du référentiel Cobit 5, qui n’est pas la meilleure source, mais certaines organisations s’obstinent à l’utiliser malgré tout : « Il y a une infection régulière des ordinateurs portables par des maliciels » (catégorie Malware) ou encore « Des utilisateurs non autorisés essayent de s’introduire dans des systèmes » (catégorie Logiciels). Nous avons bien deux scénarios différents portant sur deux événements distincts dont il faudra estimer, nous dit-on, l’impact sur l’organisation. Organisons cela en tableau pour visualiser les mises en correspondance :

Il y a ici deux problèmes : le scénario de risque est très opérationnel et il ne permet pas de déduire avec certitude le type d’impact qu’il aura sur l’organisation, mais assurément, ils traitent d’événements qui affecteront, plus ou moins, les opérations ; les types d’impacts manquent de granularité et semblent bien lointains des événements décrits par les scénarios. Ce phénomène s’accroît dramatiquement lorsque les organisations décident qu’un scénario de risque doit décrire des attaques. Premier constat : il est presque toujours impossible de déduite les conséquences précises qu’auront des événements de cybersécurité lorsqu’ils ne décrivent que des procédés techniques, des tactiques ou des vecteurs d’attaque. Deuxième constat : l’injonction théorique nous fait oublier une notion basique qu’un scénario de risque de cybersécurité est avant tout opérationnel et, comme l’énoncent les définitions ci-dessus, on s’attend à décrire et à mesurer avant tout des conséquences de sécurité. Et cette partie est souvent oubliée par les équipes en charge des analyses des risques ou de la conception des référentiels, par abus de théorie et manque de pragmatisme. Le BIA (Business Impact Assessment), dans le contexte d’une analyse de risque et non de la continuité d’activité, procède toujours de d’un SIA (Security Impact Assessment). En fait, dans la pratique, ils sont indissociables. Les dissocier est une erreur qui diminue la pertinence du travail de l’analyste.

Voici le tableau qui devrait être utilisé en premier lieu. Chaque type d’impact organisationnel issue d’un BIA est découpé en 3 critères de SIA (valables pour la sécurité de l’information) symbolisés par la triade CID (pour Confidentialité, Intégrité, Disponibilité) :

On l’interprète comme cela : « quel événements relatifs à la perte de confidentialité. intégrité et disponibilité de l’actif X auraient une conséquence notable sur l’axe réputationnel, financier, réglementaire ou opérationnel ? »

En se posant systématiquement ce type de question, on va pouvoir s’assurer aussi que le scénario de risque retenu n’est pas juste un événement de menace simple (vecteur, TTP), mais décrit des circonstances qui affectent réellement l’organisation à partir de la perte d’objectifs. Si on fait l’erreur de décrire un scénario par « risque d’élévation de privilège » il sera illusoire de le rattacher à un quelconque risque. En revanche, l’ajout de vecteurs et de TTPs dont on aura préalablement recueilli des statistiques, permettent non seulement de compléter et rendre unique un scénario, mais aussi d’estimer les probabilités d’occurrence des événements.

Mais si on voulait décrire des conséquences pertinentes, il faudrait les rendre plus granulaires et les associer à des événements conséquents qui aient un sens pour l’organisation. Par exemple, pour l’organisation Y, quels événements spécifiques pourraient affecter négativement la réputation ? D’où le tableau suivant :

Tout événement de cybersécurité (événement causal) doit être associé à une conséquence pour l’organisation (événement conséquent) qui peut être mesurable par l’organisation.

Une fois que nous avons corrigé ce premier problème, force est de constater que cette typologie très générale est conceptuellement un peu fragile. D’abord, pour une organisation, toute conséquence affecte directement ou indirectement ses capacités financières, que ce soit par une perte de revenu, une sanction administrative ou un dépassement de budget. On s’attendrait donc à ce que l’aspect financier se retrouve en filigrane dans toutes les conséquences. Ensuite, on doit distinguer les conséquences immédiates (souvent plus fréquentes, mais de moins grande magnitude) à un événement de cybersécurité, des conséquences tardives (souvent plus rares, mais de plus grande magnitude). Et pour une fois, je vais reprendre tel quel le modèle apporté par la méthode FAIR (Factor Analysis of Information Risk) qui devrait être étudiée par tous les analystes qualitatifs tant elle remet de l’ordre et du bon sens dans l’exercice de la discipline.

FAIR énonce les conséquences suivantes :

• Magnitude de Perte Primaire (PLM, Primary Loss Magnitude) associées aux réaction des parties prenantes primaires (qui sont affectées immédiatement)
  • Perte de productivité (ralentissement de la production, chômage technique)
  • Remplacement d’un bien ou correction d’un problème
  • Réaction (immédiate) à un incident (p. ex. déclenchement d’un plan de continuité des affaires, confinement d’un système, activation d’une cellule de crise)
• Magnitude de Perte Secondaire (SLM, Secondary Loss Magnitude) associées aux réaction des parties prenantes secondaires (qui sont affectées plus tard)
  • Perte d’un avantage compétitif (ou d’une part de marché)
  • Atteinte à la réputation (coûts liés aux relations publiques)
  • Amendes et décisions de justice (coûts liés à assurer une défense juridique)
  • Réaction (plus tardive) à un incident (p. ex. le coût lié à l’implication des forces de l’ordre, à la notification de régulateurs et clients)

Parce que ces conséquences sont issues d’une méthode quantitative ou le coût financier est le dénominateur commun, aucun impact financier n’est mis en exergue. La méthode offre une typologie plus pertinente.

Revenons à nos moutons cybernétiques : si le scénario sélectionné ne décrit pas un événement pouvant être associé à l’une des conséquences ci-dessus, c’est qu’il n’est pas pertinent et est inexploitable. Reprenons un des exemples de scénarios Cobit très imparfaits ci-dessus et ajoutons des informations manquantes pour construire des scénarios plus pertinents, distincts et procédant de la perte de la confidentialité, de l’intégrité et de la disponibilité :

• Il y a une infection régulière des ordinateurs portables par des maliciels (entraînant quoi pour les utilisateurs, les processus de l’organisation ?)
  • Ralentissant le poste de travail (conséquence primaire sur le système)
    • Réduisant la productivité des utilisateurs légitimes
      • Forçant les équipes informatiques à intervenir
    • Entraînant le mécontentement des utilisateurs
      • Forçant les équipes informatiques à intervenir
  • Entraînant un redémarrage inopiné d’applications (conséquence primaire sur les applications)
    • Réduisant la productivité des utilisateurs légitimes
    • Entraînant le mécontentement des utilisateurs
• Des utilisateurs non autorisés essayent de s’introduire dans des systèmes (pour faire quoi ? Avec quelles conséquences ?)
  • Dégradant le fonctionnement du système
    • Réduisant la productivité des utilisateurs légitimes
    • Entraînant le mécontentement des utilisateurs
  • Accédant en lecture à des données confidentielles
    • Entraînant une non-conformité réglementaire
      • Affectant la réputation de l’entreprise
      • Menant à une amende pour non-conformité
    • Entraînant une violation d’obligations contractuelles
      • Menant la perte d’un client important
    • Entraînant des articles de presse à grande diffusion
      • Affectant durablement la répudiation de l’organisation
        • Menant à des opérations dispendieuses de relations publiques
      • Provoquant une fuite importante de clients

Ce n’est pas exhaustif, mais cela renforce la structure et la mise en relation des événements. Ces relations peuvent être mises en évidence par des arbres de conséquences complets.

Dans les exemples incorrects provenant de Cobit 5, il est difficile de faire une association plausible. Il vaudra mieux réécrire un scénario en suivant la syntaxe suivante, plutôt que de sélectionner au hasard dans divers référentiels des mauvais exemples :

Cas 1 : l’audience principale n’est pas technique

Impact sur les CID + événement de sécurité haut niveau + actif concerné + type d’acteur (interne/externe) (+ cause supposée ou avérée) + Conséquence organisationnelle

Par exemple :
« Indisponibilité de la base de données X par suite de l’attaque par un acteur externe (rendue possible par un défaut de configuration) occasionnant une perte importante de productivité (idéalement quantifiable). »

Cas 2 : l’audience principale est technique

Impact sur les CID + TTP ou vecteur + actif concerné (+ cause supposée ou avérée) + Conséquence opérationnelle

Par exemple :
« Divulgation de données confidentielles suite à un abus de privilèges par un acteur interne permettant de visualiser le contenu d’une base de données X (rendue possible par un processus d’octroi des permissions défaillant) occasionnant une non-conformité avec la loi sur la protection des renseignements personnels (Québec) »

En résumé :

• Le choix de la typologie d’impacts (ou de conséquences) est très important et il doit avoir du sens autant pour décrire un scénario de cybersécurité que pour estimer les conséquences sur l’organisation
•  Le choix de la typologie doit influencer la manière dont on décrit un scénario de risque pour permettre de faire un lien logique et vraisemblable
• Il est impossible d’estimer une conséquence autre qu’opérationnelle pour un événement si on ne retient de lui que son aspect opérationnel et technique
• On ne doit jamais faire ce qu’une norme, un cadre ou une bonne pratique nous force ou suggère de le faire, par principe, mais parce que cela fait du sens après analyse de toutes les informations et après avoir porté un regard critique

Igor Scerbo est le fondateur de l’entreprise de services Cyriskintel, le concepteur de divers référentiels et formateur en gouvernance et gestion des risques.

The post Méfiez-vous des injonctions issues de bonnes pratiques appeared first on Cyriskintel.

Par ailleurs, nous avons décidé de remplacer l’ARO (Annualized Rate of Occurrence) par les probabilités obtenues par le calcul ci-dessous. Normalement il est soit obtenu en consultant l’historique des incidents (mais le fait qu’il y ait un un historique ne présume pas de l’avenir, et s’il n’y en a pas eu non plus car la cybersécurité traite d’événements incertains mais pas forcement aléatoires) ou par l’estimation par consensus des experts en la matière. Leur niveau d’expertise en cyber, cependant, ne coïncide pas toujours avec les besoins d’avoir une vue exacte (ou s’approchant de plus en plus de l’exactitude), même les experts ont des biais cognitifs qui les éloignent plus ou moins de la réalité objective. Disposer de statistiques fiables, pouvoir faire parler des chiffres, est crucial dans la quantification des risques pour ne pas céder à

Il faut remarquer que dans notre exemple, il faut déterminer clairement ce qu’on entend par une « attaque d’hameçonnage réussie ». Si on tient compte que ce type d’attaque est davantage un moyen qu’une fin en soi, il est crucial de distinguer les attaques résultant d’un clic par un utilisateur régulier ayant des droits d’accès réduits et celui par un utilisateur avec des droits d’accès étendus. Sans aborder l’aspect de magnitude d’impact, on peut raisonnablement différencier le caractère réussi par le ciblage des bons utilisateurs. Une attaque réussie d’hameçonnage est soit la capacité à récolter directement des données sensibles, soit la capacité à déclencher un logiciel malveillant, ce dernier étant plus utile s’il est exécuté par des droits d’accès étendus.
Par conséquent, si par exemple, 20% des utilisateurs de l’entreprise cliquent encore sur un lien frauduleux durant les tests annuels, il est important de connaître dans ces 20% le pourcentage d’utilisateurs ayant des droits d’accès étendus. Est-ce que l’entreprise cherche à obtenir des informations avec ce niveau de granularité ? Elle devrait, car le résultat très différent. En outre, les utilisateurs qui ont des droits d’accès étendus ont souvent une connaissance des dangers cyber plus avancée que l’utilisateur normal. Pour simplifier, on pourrait dire que pour que les calculs restent pertinents, on devrait s’attendre à une probabilité plus faible de cliquer sur un lien frauduleux, mais l’impact de ce clic pourrait se révéler plus important que dans le cas de l’utilisateur régulier.

Notons que si on cherche à mettre des montants en dollars pour estimer la magnitude d’impact, ill serait difficile de distinguer clairement le montant de pertes estimées pendant un incident de ce type selon qu’il résulte d’un utilisateur privilégié ou non. Nous allons plutôt utiliser des montants moyens génériques applicables aux deux types d’utilisateurs. Ce qui va les différencier, c’est le coût annualisé du risque qui prendra en compte la probabilité de cliquer un lien frauduleux ET le montant moyen de pertes associées à un incident d’hameçonnage.

Igor S., CISSO, CRISC, CISM, Open FAIR, etc.

The post Exemple de quantification du risque d’hameçonnage appeared first on Cyriskintel.

La vraisemblance fait référence à la plausibilité qu’un certain événement se produise, quand on juge celui-ci vraisemblable ou pouvant se produire sous certaines conditions. Pour estimer les chances qu’un certain événement puisse se produire, en espérant aller au-delà d’un vague sentiment qui peut comprendre beaucoup de biais potentiels, on estime sa probabilité afin de rendre l’évaluation plus objective. Les probabilités sont utiles à quantifier (avec plus ou moins d’exactitude) le niveau d’incertitude (et donc du risque).

L’objectif de toute analyse de risque sérieuse est de n’envisager que des informations pertinentes et les plus exactes possibles, sans tomber dans les spéculations spécieuses qui sont la marque des analyses de très mauvaise qualité. Mais est-ce que l’utilisation des probabilités rend l’évaluation plus objective et plus exacte ? Et quel est leur réel intérêt ? Quelles techniques probabilistes utiliser et pour quoi faire ? Nous allons tenter de répondre à ces questions dans cet article. Gardez à l’esprit que si mon intérêt pour les risques m’a porté de force vers ce sujet crucial de la quantification des risques, je suis issu d’une formation littéraire. Les scientifiques me pardonneront tout raccourci ou approximation et ils sont invités à me corriger.

Première chose à clarifier, il existe deux manières d’estimer des probabilités :

• La méthode dite objective et autrement appelée fréquentiste, car utilisant l’estimation des fréquences d’un événement
• La méthode dite subjective et autrement appelée bayésienne (de son découvreur Bayes).

Dans la méthode fréquentiste, on estime le nombre des cas favorables (l’événement étudié se produit) par rapport au nombre des cas possibles pour un événement quelconque, tous les cas possibles étant supposés également possibles (il y a autant de chances qu’un événement A, B ou C se produisent). C’est le fameux tirage de dés non truqués : il y a normalement une chance sur 6 (un dé classique possède 6 faces) que n’importe quelle valeur soit obtenue à chaque lancer, l’issue étant indépendante de l’observateur. Plus important, les lancers sont des événements distincts et sans aucune relation entre eux. Ces conditions sont importantes car elles définissent le sens du mot aléatoire en probabilités, ce qui a des implications directes avec son utilisation dans l’évaluation des risques.

Il faut ouvrir une parenthèse importante : il est fréquent de lire ou d’entendre les termes aléatoire et incertain comme s’ils étaient interchangeables. Or, il faut comprendre aléatoire comme se rapportant à l’observateur et à son incapacité à prédire les issues possibles à l’avance, à sa passivité relativement à l’événement dont il ne peut influencer l’issue. Cet événement est imprévisible (pour lui), mais on considère a priori que les issues possibles ont toutes une chance de se produire. On comprend de suite qu’un événement aléatoire est forcément incertain, mais est-ce que tous les événements incertains sont aléatoires et le fruit du hasard ?
Un événement incertain est également difficilement prévisible même s’il n’est pas complètement le fruit du hasard. Il est fonction de paramètres qui ne sont pas ou mal connus. C’est notamment le cas d’un événement composé d’un nombre élevé de paramètres qui ne sont pas tous maîtrisables ou d’une absence de données pour tirer des conclusions définitives. C’est aussi le cas pour tous les événements associés à un choix humain pas toujours prévisible.

Selon les explications précédentes :

• Un événement cyber accidentel dû à un dysfonctionnement matériel mal maintenu est-il un événement aléatoire ou seulement incertain ?
• Un événement cyber intentionnel à la suite d’une attaque complexe dont l’origine est un cybercriminel, est-il aléatoire ou seulement incertain ?

Ces questions sont importantes car elles déterminent quelles techniques probabilistes sont utiles dans chaque cas et, surtout, les leurs limites pour estimer un événement de manière pertinente.

Les probabilités objectives ou fréquentistes

 Avec la méthode fréquentiste, on se fait l’observateur objectif des différents lancers. On peut ainsi réaliser 100 lancers de dés, observer les résultats et estimer les fréquences d’obtenir tel événement ou tel autre qui seront rapportées. On ne tient compte d’aucun autre paramètre pouvant influencer le résultat, c’est une des conditions d’utilisation de cette méthode.
De la même manière, on peut observer et noter toutes les attaques cyber résultant d’une méthode particulière, sans se soucier des motivations et de la foule de paramètres autour de ces attaques (intentionnelles), et ainsi obtenir la fréquence ou la prévalence de ces méthodes d’attaques. Ces chiffres sont importants lorsqu’on réalise une veille de cybersécurité. C’est la principale source permettant d’évaluer le niveau de risque inhérent (indépendamment de possibles facteurs d’atténuation) à un événement de menace (attaque).

En langage probabiliste, pour un événement A, on note cette probabilité P(A) dont la valeur se situe entre 0 et 1, avec 0 l’événement est impossible et 1 l’événement est certain.

Pour un dé possédant 6 faces numérotées de 1 à 6 : le nombre total d’issues possibles (ou « l’univers des possibilités » est l’ensemble des nombres : 1, 2, 3, 4, 5, 6. Soit 6 éléments en tout.

Les probabilités ou les chances d’avoir une issue favorable pour un événement A seront toujours estimées sous la forme d’une proportion du nombre d’issues favorable, noté n(A) sur le nombre total de possibilités, noté N. Pour le cas du dé, N = 6. On décrit ensuite l’événement que nous souhaitons estimer, par exemple :

• Les probabilités d’obtenir un 6 à chaque lancer : P(A) = 1/6  = 0,166 ou 16,67%
• Les probabilités d’obtenir un nombre impair (soit 1, 3 ou 5) P(A) = 3/6 = ½ = 0,5 = 50%

Dans le premier cas nous avons 16,67% de chances d’obtenir un 6 à chaque lancer et dans le second, on a 50% de chances d’obtenir un nombre impair.
L’exemple du dé est important : toutes les faces ont les mêmes probabilités d’apparaître ET chaque lancer est indépendant des précédents (sinon la première condition serait fausse).

Lorsqu’on estimer les fréquences des différentes attaques (approche fréquentiste) on traite les événements comme étant indépendants les uns des autres et comme le fruit du hasard. Or, il n’en est rien : si l’issue d’une attaque ou leur simple occurrence est incertaine par la méconnaissance des motivations de chaque acteur et leur ciblage, celle-ci n’est pas aléatoire. Pour compenser cette approche un peu naïve, certains experts amateurs de criminalistique ou issus du monde militaire ont tenté d’évaluer les acteurs par le biais de leurs motivations et ressources, en gros leurs MOM (Motivation – Opportunité – Moyens). Sous sa forme basique, on modélise ces acteurs sous la forme qualitative ou semi-quantitative.

Dans l’exemple ci-dessous, je vais encore utiliser une distribution normale sur 4 critères pour faire correspondre avec des niveaux qualitatifs (0 ; 0,25 ; 0,50 ; 0,75 ; 1) :

Dans cet exemple on utilise juste 3 paramètres (MOM), le plus fluctuant étant celui de l’opportunité qui revient un peu à évaluer une certaine forme de prédisposition, mais il est possible d’en ajouter beaucoup d’autres pour tenter de compenser son simplisme. Mais ça n’enlèvera pas ses défauts intrinsèques :

• On connaît rarement le type d’acteur en cause après coup, l’attribution est souvent compliquée, c’est encore plus difficile d’anticiper ;
• Le modèle est figé, les mêmes valeurs se répèteront pour chaque événement, les valeurs sont relativement absolues et étant associées à chaque catégorie d’acteur ;
• De quelle probabilité s’agit-il : d’une occurrence d’attaque ou du succès d’une attaque ? Les valeurs ne seraient pas les mêmes dans un cas ou dans l’autre ;
• L’estimation se base sur du gros bon sens et parfois sur des statistiques assez vagues, ça ne les rend pas pour autant exactes ;
• Selon l’évaluation, la probabilité qu’une attaque soutenue par un État (que j’appelle cybersoldat) serait presque certaine, ce qui ne correspond pas si on ne modère pas par d’autres critères.

Comme souvent lorsqu’on essaye d’estimer un événement incertain, on se rassure en pensant que les paramètres pris en compte et leur évaluation, même approximatifs et simplistes, c’est mieux que de ne rien prendre en compte du tout et de considérer que cela est le fruit du hasard. Mais est-ce vraiment le cas ? J’ai personnellement des doutes.

La méthode FAIR, à partir d’un certain niveau de granularité, utilise cette méthode appelée « Capacité de la menace » censée déterminer la susceptibilité à une attaque. Je la trouve archaïque et peu pertinente même si elle est drapée d’une approche mathématique qui semble faire du sens. D’ailleurs Jack Jones dit lui-même dans son livre qu’il utilise rarement ce niveau de granularité à cause de l’absence de consensus sur le mode d’évaluation …

Peut-être qu’un jour nous disposerons de données statistiques abondantes et exactes, donc exploitables, mais pour l’instant la seule chose que l’on puisse raisonnablement avancer se rapporte à la typologie des attaques :

• Les attaques opportunistes sont les plus nombreuses avec un impact limité
• Les attaques ciblées sont les moins nombreuses mais leur impact peut être considérable

Peut-on mettre ça sous forme de formule ? Peut-être, en appliquant de manière un peu péremptoire un rapport respectif de 80/20 : considérons qu’environ 80% des attaques seront opportunistes et leur impact sera limité (faible à modéré) et 20% seront ciblées et leur impact sera significatif (disons élevé à très élevé). Parmi les attaques ciblées on pourrait avoir un rapport aussi 80/20 comme suit : 80% des attaques seront d’origine externe et 20% d’origine interne, avec l’idée derrière d’identifier un black swan (un événement rare mais particulièrement impactant). Les acteurs internes, si le processus d’embauche est efficace, seront probablement et majoritairement respectueux des règles déontologiques et craindront les conséquences s’ils se font attraper (appétit au risque faible, dirait-on) et ce, même s’ils possèdent des permissions étendues sur les systèmes. Les négligences sont plus fréquentes au sein des organisations que des actes revanchards d’un employé mécontent. Et si on a tous un cas ayant défrayé la chronique ces dernières années, on l’évaluerait probablement à quoi, un incident tous les dix, quinze ou vingt ans dépendant du secteur d’activité de l’entreprise et du pays.

C’est là que la méthode FAIR est intelligente et prévoit un critère appelé « probabilité d’action » ou « probabilité de passage à l’acte » qui vient modérer à la hausse ou à la baisse la modélisation MOM. Dans l’exemple précédent, on pourrait considérer que la « valeur » associée à l’organisation étudiée serait faible car située dans une région et appartenant à un secteur d’activité dont on a des statistiques montrant une faible activité.

Tout ce que nous avons vu jusqu’ici se rapporte à l’évaluation du risque inhérent. Nous n’avons pas ou très peu pris en compte les facteurs de prédisposition (ma terminologie) ou susceptibilité (FAIR) à une attaque, et particulièrement les contre-mesures éventuellement en place. Selon ma taxonomie, on doit considérer deux types de facteurs de prédisposition PEST(I)LE :

• Facteurs politiques : quelle est la probabilité que la politique menée par notre pays puisse conduire à des attaques cyber dont nous serions la cible ?
• Facteurs économiques : à quel point notre organisation évolue dans un secteur compétitif ?
• Facteurs sociaux : à quel point la politique interne à l’entreprise est susceptible de conduire à un mécontentement des employés ?
• Facteurs technologiques : à quel point la technologie que nous utilisons est susceptible d’être la cible d’attaquants ?
• Facteurs informationnels : à quel point les attaquants s’intéresseraient à nos informations et lesquelles, dans quel but ?
• Facteurs légaux et réglementaires : est-ce que notre organisation est sujette à des contraintes réglementaires dont la conformité pourrait être volontairement mise à mal par les attaquants ?
• Facteurs environnementaux : à quel point l’organisation est affectée par les phénomènes climatiques, géologiques ou écologiques ?

Au final, quel que soit le nombre et le type de critères que vous voulez examiner, l’objectif est toujours d’estimer une fréquence, soit inhérente, observée/constatée, après coup ou bien anticipée. Dans les évaluations de risques c’est ce sont les fréquences anticipées qui nous intéressent. Si vous vous rappelez du calcul de l’ALE (Annual Loss Expectancy) abordée lors d’un précédent article, la formule considère l’ARO (Annual Rate of Occurrence) multiplié par les pertes anticipées pour un seul événement ou SLE (Single Loss Expectancy). Les fréquences anticipées vues précédemment permettent de déterminer l’ARO.

La question que l’on doit se poser c’est si les méthodes vues jusqu’ici, dites objectives, permettent de faire une estimation exacte. Et jusqu’à quel point l’estimation est vraiment objective ? La réponse est clairement que l’estimation des incidents cyber n’est jamais complètement objective, car elle repose sur les perceptions d’un certain nombre de personnes, à commencer par l’analyse de risque, mais toutes les parties prenantes peuvent ajouter des biais et des inexactitudes qu’il sera difficile d’éliminer totalement.
Voici un exemple qui m’est arrivé par le passé. Réalisant une veille d’anticipation des menaces pour une entreprise, j’ai introduit le déni de service dans la liste des possibilités. Je disposais d’un grand nombre de sources externes concordantes pour me rassurer sur la pertinence à la fois de ce choix, mais aussi des statistiques (donc des fréquences) de ces attaques, leur magnitude par pays ou région géographique. Cependant, malgré tous ces éléments, le RSSI ne voulait pas en entendre parler. Il soutenait que le déni de service n’était pas pertinent et que même si cela risquait de se produire, il n’aurait aucun impact significatif pour l’organisation. Sur quelles données s’appuyait-il pour dire cela ? Aucune. Juste le sentiment, la fausse certitude, de disposer des meilleures informations possibles de manière parfaitement arbitraire.
Dans ce cas, qu’est-ce qu’il faudrait retenir : les choix informés avec des données à l’appui comme toute démarche rationnelle commanderait ou bien le sentiment d’un professionnel de la sécurité qui semblait arbitraire ? La réponse est bien souvent politique. C’est la raison pour laquelle, il faut sensibiliser tous les professionnels impliqués directement ou indirectement dans la gestion des risques, et la nécessité d’avoir une démarche rationnelle pltôt que spéculative. Cette démarche nous impose de collecter des données de qualité et en quantité suffisantes avant de tirer la moindre conclusion. Mais aussi d’éliminer les nombreux biais cognitifs qui nous empêchent de voir clair. Malheureusement, ce type de démarche doit s’apprendre, elle n’est pas innée. Et comme tout apprentissage, cela demande d’y consacrer du temps et aussi d’avoir conscience de nos limites pour chercher la remédiation adéquate. C’est toute une culture qu’il faut mettre en place progressivement.

Du fait du grand nombre de paramètres incertains et si la quantité ou la qualité des données sont insuffisantes, les méthodes objectives appliqués aux événements intentionnels ne nous sont pas d’un grand secours. Il faudrait disposer d’un très grand nombre de données et même si c’était le cas, les probabilités usuelles ne s’appliquent pas vraiment aux événements intentionnels complexes qui ont un niveau variable de dépendance entre eux. Pourquoi ?

Voici les difficultés rencontrées :

• Les attaques cyber ont pour origine une décision à un moment donnée de la part d’un acteur de passer à l’acte selon des paramètres insuffisamment compris les rendant très incertains à défaut d’être aléatoires ;
• Les attaques cyber qui comptent, celles qui ont un impact significatif, sont des événements complexes, c’est-à-dire qu’ils se composent d’un grand nombre de variables soit inconnues, soit méconnues et d’événements interreliés ;
• Les attaques cyber impactantes suivent une stratégie constituée des objectifs stratégiques de l’acteur qu’on ne connaît pas à l’avance, eux-mêmes nécessitant d’atteindre au préalable un certain nombre d’objectifs tactiques qui eux dépendent grandement du niveau de résistance rencontré ;
• Puis il est fort à parier que l’organisation va réagir d’une certaine façon lors du premier événement, ce qui va considérablement modifier les paramètres applicables au suivant, elle ne va pas regarder sans rien faire et rester la proie béate aux attaques ultérieures identiques. Si l’organisation est un minimum efficace, elle va modifier ses capacités de prévention, de détection, et de réaction pour tout événement similaire au premier ;
• En outre, parce que les mesures de contrôle du risque sont rarement spécifiques à un événement de menace (par exemple le contrôle d’accès), la modification des capacités pour un événement risque fort de modifier les probabilités qu’un autre événement même différent se produise.

Probabilités bayésiennes

Comment fait-on pour estimer les probabilités d’événements complexes dont les paramètres eux-mêmes sont incertains ? C’est là que les méthodes bayésiennes sont d’un précieux secours. Dans les probabilités bayésiennes, la probabilité est « une mesure du degré de croyance ou de confiance associées avec l’occurrence d’un événement ».
Ces méthodes sont particulièrement adaptées à l’évaluation des risques lorsque les événements dépendent de plusieurs variables partiellement connues (probabilités conditionnelles), dont les observateurs possèdent une croyance particulière que vous avez besoin d’actualiser en continu, et que les probabilités a posteriori dépendent des probabilités a priori … comme c’est le cas lorsque l’évaluation dépend de facteurs tels que le niveau de vulnérabilité (les faiblesses observées) et le degré de résistance face aux événements (les mesures de contrôle implémentées) qu’on veut comparer au niveau de risque inhérent précédemment évalué. Elles permettent d’évaluer, par exemple, la croyance a priori (ou inhérente) puis la croyance a posteriori (ou résiduelle) après avoir évalué la présence et l’efficacité des mesures de contrôle.

Les arbres bayésiens nous permettent également de déterminer des événements complexes ayant des issues de probabilité variable … et ça c’est génial à mon avis, car cela résout les limitations associées aux évaluations de risque traditionnelles qui touchent des événements très (trop) simples, les excluant de fait, alors qu’ils sont la plupart du temps complémentaires.

Exemple d’évaluation du risque associé à la modélisation d’une attaque complexe

Ci-dessous un exemple de modélisation d’une attaque complexe (un rançongiciel) dont on suppose que l’on ait d’abord réalisé une évaluation de chacune des phases pour déterminer le niveau inhérent (à moins de disposer déjà de cette estimation). Ensuite, on détermine le niveau de probabilité pour chacune des étapes une fois considéré la présence de mesures d’atténuation standard attendues pour chacune de ces étapes et on calcule la probabilité agrégée en multipliant toutes les valeurs. Ce type d’estimation tient compte du degré de complexité de ce type d’attaques, ce qui les rendrait moins fréquentes. Une attaque pa rançongiciel de ce type aurait (les valeurs attribuées sont arbitraires) une probabilité de 7,96%. Mais pour obtenir le risque résiduel, il faut aussi déterminer la magnitude d’impact, de préférence en dollars sonnants et trébuchants.

 Pour voir les explications sur la modélisation maison adaptée à la fois de la cyber et de MITRE Att&ck, vous pouvez lire l’article suivant : https://cyriskintel.com/menaces/

Évaluation du niveau de risque par des probabilités bayésiennes

Établissons une hypothèse à étudier : « Quel est la probabilité qu’un attaquant passe le périmètre en contournant le pare-feu sur Internet ? ».

P(A) désignerait la probabilité qu’un événement soit validé comme un incident (attaque réelle) en se basant sur les constats de l’équipe de SOC de l’organisation.

P(B) désignerait la probabilité qu’un tel événement soit détecté à temps a priori, grâce au SIEM dont il faudra ensuite évaluer l’efficacité.

P(A|B) désignerait la probabilité qu’un événement de détection B soit effectivement une attaque confirmée (événement A).

P(B|A) désignerait la probabilité qu’une attaque confirmée A ne soit pas détectée et que l’attaquant aurait contourné les règles du pare-feu à cause. C’est l’étape durant laquelle il faut mesurer le niveau de vulnérabilité (ou susceptibilité selon FAIR).

Pour illustrer l’exemple, les équipes du SOC sont assez sûres de n’avoir détecté que peu de contournements de ce pare-feu : P(A) = 0,1 ou 10%.

Après avoir étudié l’implémentation du pare-feu, il s’est avéré que certaines règles n’étaient pas journalisées concernant des protocoles connus pour être exploitables. La probabilité de détecter une violation de la politique de sécurité dans ce pare-feu est estimée à : P(B) = 0,2 ou 20%. Cette probabilité concerne la simple détection de tentatives d’intrusion, pas forcément des attaques réussies et caractérisées.

Par ailleurs, les équipes d’administration des pares-feux sont sous l’eau et elles ont rarement l’occasion de vérifier que tous les flux autorisés sont encore justifiés. Et il apparaîtrait qu’il subsiste certaines vulnérabilités dans ce pare-feu, toujours pas corrigées, permettant à l’attaquant de potentiellement contourner les règles : P(B|A) = 0,8 ou 80%.

La formule bayésienne pour tenir compte de ces estimations serait :

En calculant la valeur d’ALE, on se rend compte que le coût d’un tel événement serait au-delà de la tolérance de l’entreprise qui mandate l’équipe de sécurité pour trouver des mesures d’atténuation du risque nécessitant de diminuer aussi bien l’impact potentiel (les pertes envisagées) en améliorant les mesures réactives ainsi que les probabilités en améliorant la prévention de ce type d’attaque. Les experts décident donc d’améliorer le processus de surveillance, notamment la journalisation et l’alertage, de créer un nouveau cas d’usage permettant au SIEM de mieux intégrer les données issues de la journalisation de ce pare-feu, cela pour diminuer la magnitude d’impact. En même temps, ils décident de créer un projet consistant à passer en revue avec les secteurs d’affaires concernés toutes les règles pour vérifier qu’elles sont toujours nécessaires. Un autre projet est lancé pour corriger la vulnérabilité du pare-feu dans les plus brefs délais.

On demande à l’équipe de réévaluer le risque en tenant compte de ces nouvelles informations. Les analystes reviennent avec l’évaluation suivante :

Les probabilités issues des détections courantes par les équipes du SOC ne changent pas : P(A) = 0,1 ou 10%.

La probabilité de détecter et empêcher une violation de la politique de sécurité dans ce pare-feu est maintenant estimée à : P(B) = 0,05 ou 5%.

La possibilité de contourner le pare-feu et de traverser le périmètre est maintenant estimée : P(B|A) = 0,1 ou 10%.

En appliquant cette probabilité à la formule d’ALE précédente, la magnitude d’impact a diminué sous l’action de l’amélioration du processus de détection et la quantité de perte envisagée est maintenant considérée comme acceptable et sous contrôle. L’équipe de surveillance de risque de la deuxième ligne de défense vient confirmer que l’estimation entre maintenant dans les limites définies de l’appétit au risque, qui peut maintenant être accepté.

Vous avez apprécié l’article, avez des suggestions pour l’améliorer, ou vous voudrez que je clarifie un point sur la gestion des risques : vous pouvez me contacter sur LinkedIn ou laisser un commentaire.

Igor S., CISSP, CRISC, FAIR, ISO 27001 LI, etc.

The post L’estimation des probabilités lors d’une évaluation des risques appeared first on Cyriskintel.

Lorsqu’on analyse des risques, notamment les risques résiduels, la partie la plus important est celle dans laquelle nous considérons les mesures de contrôle attendues et que nous en évaluons l’efficacité.

Identification des mesures de contrôle

Je ne parlerai pas par l’anglicisme « contrôles » qui est un raccourci abusif qui ne possède pas le sens voulu en français, mais son équivalent presque littéral de « mesure de contrôle du risque » (appelons-les MCR) car en gestion des risques la finalité d’une mesure est bien de maîtriser ou contrôler les risques …. en dehors de sa finalité, elle n’a aucun intérêt intrinsèque. ISO 27000 utilise le terme « mesure de sécurité », mais cela convient, bien-sûr, uniquement au domaine de la sécurité.

Lorsque nous en sommes à la phase d’identification des risques, nous identifions les menaces, l’état de vulnérabilité du système étudié ce qui comprend les éventuelles faiblesses constatées et les mesures attendues. Très souvent ces mesures sont importées littéralement de fameux référentiels que tout bon professionnel s’enorgueillit de connaître. Est-ce judicieux ? La plupart du temps c’est une erreur car ces référentiels nous font démarrer de zéro comme si nous n’en avions pas en propre. Or, chaque organisation émet des politiques, des directives et des normes qui servent précisément de mesures de contrôle des risques. Quels risques ? Idéalement ceux que l’organisation aurait identifié au départ, les risques majeurs lorsqu’on considère l’entreprise dans son ensemble comme l’actif qu’il faut protéger. Ces documents devraient contenir l’ensemble des mesures de contrôle de base pour couvrir ces risques majeurs, ils sont en fait un supra-plan de traitement de ces risques. Mais force est de constater que ce premier instantané n’existe que très rarement. Non seulement les entreprises n’ont pas cherché à obtenir cet instantané, mais il y a une déconnexion totale entre leur cadre documentaire de référence interne et le processus de gestion des risques. C’est notamment le cas lorsque l’organisation distingue les activités de gouvernance des activités de gestion des risques et qu’elles sont maintenues par des directions différentes sans avoir réussi à les faire communiquer efficacement en continu.

Mentionnons les principaux référentiels de mesures de contrôle, généralement de sécurité :

• ISO 27002:2022 pour aider à analyser les risques avec des méthodes comme ISO 27005 (93 mesures, 114 précédemment).
• NIST SP800-53r5 (2020, pour protéger les informations confidentielles de toutes sortes de risques, comme « les attaques hostiles, les erreurs humaines, les désastres naturels, les dysfonctionnements structurels, les entités de renseignement étrangères, les risques de perte de la vie privée »… 1189 mesures environ) Sa version Excel s; Son référencement croisé avec ISO 27002, ici. Pour aider à analyser les risques selon le cadre NIST SP800-39 (2011), obligatoires pour tout système d’information fédéral. Le référencement croisé avec les mesures préconisées par leur cadre cyber CSF, ici.
• NIST SP800-171r2 (2020, pour protéger les informations dans les organisations qui ne sont pas des institutions fédérales, fournit 110 mesures environ). La page dédiée ici. Normalement c’est cette sélection de mesures qui devrait être utilisée comme référence par les organisations privées, et pas le 800-53r5, mais le plus souvent les professionnels sont sujets à des biais d’ancrage et vont continuer à utiliser le référentiel le plus exhaustif et qui est le plus connu.
• NIST CSF 2.0 (2024, le cadre cyber propose 108 mesures distribuées à travers 6 fonctions pour aider les organisations à atteindre les objectifs selon leur « profil de risque »). Une présentation ici. Le référencement croisé avec les mesures préconisées par leur cadre cyber CSF et NIST SP800-53r5, ici.
• CIS 18 (version 8, anciennement SANS 20, puis CIS 20 fournit un cadre de 18 catégories totalisant plus de 153 mesures). Très souvent utilisé, il possède des tas de ressources utiles, comme un cours d’introduction, un outil pour mesurer leur bonne application, etc.
• SCF (2024, Secure Controls Framework, le plus complet et le plus régulièrement actualisé, avec près de 1200 mesures de contrôle). Une présentation ici. Le nombre de référencements croisés maintenus est juste incroyable.
• HITRUST CSF (Common Security Framework, payant et certifiable, pour les organisations de santé), ici.

En dehors des préférences personnelles, il est intéressant de constater le nombre très variable de mesures d’un référentiel à l’autre, sans pour autant les rapprocher à des scénarios de menace. En général, ces référentiels sont (à tort) utilisés en gestion des risques en utilisant le raccourci fréquent que si on est conforme au cadre qui semble le plus complet, on couvre la majorité des risques possibles. Peut-être, mais à quel prix ? et à quoi servent toutes les politiques, directives et normes qui sont publiées dans les organisations ?

La plupart de ces référentiels disposent de méthodes pour mesurer le niveau de conformité, soit en passant par l’efficacité de la mesure mise en place, soit en passant par l’évaluation du niveau de maturité (p. ex. CMMI). Le cadre ISO 27001 nécessite d’acheter le standard ISO 27004 pour nous y aider. Comme les référentiels eux-mêmes, ils ont tous des avantages et des inconvénients et leur usage en aveugle n’est pas recommandé.

Taxonomie des mesures de contrôle

Les 6 fonctions stratégiques issues du cadre NIST CSF 2.0 (gouverner, identifier, protéger, détecter, réagir, récupérer ou reprendre) sont les catégories plus couramment utilisées et à juste titre. Elles saisissent l’essence des mesures dans leur finalité en gestion des risques qui est soit de modifier la vraisemblance, soit de modifier la magnitude d’impact.

Je les résume souvent en deux grandes fonctions ou services :

• Prévention et dissuasion (gouverner, identifier, protéger) censées empêcher la survenue d’un incident (qu’un scénario de risque ne se réalise)
• Détection et réaction (détecter, réagir, récupérer) censées limiter l’impact après qu’un incident soit survenu

C’est très important de correctement distinguer la portée réelle des mesures. J’entends souvent que certaines mesures peuvent être à la fois préventives et réactives. Mais c’est faux dans l’absolu, si on les décrit correctement du point de vue fonctionnel avant tout. Lorsque c’est le cas, c’est parce que la description des mesures elles-mêmes n’est pas au bon niveau et qu’elle concerne maladroitement la technologie qu’on avait à l’esprit au moment de la rédaction. En effet, une solution comme un antimaliciels par exemple, possède à la fois des fonctions de prévention ET des fonctions de réaction. Elles ne sont pas interchangeables et sont fonctionnellement bien différentes. Si on décrit dans un référentiel tous les services rendus par un antimaliciel, le résultat sera effectivement que la mesure (en fait la technologie) aura une double finalité. C’est pour cette raison que la majeure partie des référentiels d’usage courant comportant ces erreurs de conception, sont un peu plus difficiles à utiliser correctement. Par exemple, un référentiel pourra associer une mesure à une fonction, et un autre référentiel à une autre. Le référentiel du CSF 2.0 est sans doute le plus pertinent, et pour cause, il est pensé correctement depuis le début.

Les mesures de contrôle se différencient par leur portée, fonction ou service comme vu précédemment, mais aussi par leur nature. Une mesure peut ainsi être administrative, procédurale, technique ou physique.

• Administrative : une sanction, un document, une clause sont toutes de nature administrative. Leur portée ou fonction est généralement dissuasive et font donc partie des mesures préventives.
• Procédurale : un processus, une activité (p. ex. une analyse de risque, un audit) sont de nature procédurale. Elles nécessitent l’intelligence humaine et un ensemble d’actions coordonnées. Leur portée est variable.
• Technique : suppose l’utilisation d’une technologie et une dose variable d’automatisation (p. ex. un pare-feu, un antimaliciel). La technologie est logique, elle utilise par exemple des logiciels pour rendre leur service.
• Physique : suppose une protection

Catégoriser les mesures correctement est crucial car cela permet de comprendre puis d’évaluler leur efficacité intrinsèque qui dépend de leur nature et de leur fonction. On peut les hiérarchiser : une mesure administrative, même si elle est préventive, est d’une efficacité intrinsèquement inférieure à une mesure préventive technique qui userait d’automatismes pour contraindre les utilisateurs. Quand on écrit une politique ou une directive, à propos de la gestion des mots de passe, on doit savoir qu’écrire  » l’utilisateur doit choisir un mot de passe robuste conformément à la norme en vigueur » est bien moins efficace que d’écrire : « Tous les systèmes de l’organisation doivent contraindre les utilisateurs dans un choix de mots de passe robuste selon les meilleures pratiques du moment ». Les contraintes techniques renforcent notre idée de départ et permettent à priori d’atteindre les objectifs souhaités, que les mots de passe soient difficiles à deviner.

Quand on identifie les mesures attendues ou qu’on définit un plan de traitement de risques, il faut s’assurer de couvrir idéalement toutes les possibilités un peu à la manière d’une défense en profondeur. On veut pouvoir exploiter des mesures de nature variée (quand la technologie échoue, c’est bien de pouvoir compter sur la discipline de l’utilisateur) et de portée complémentaire : puisqu’on ne peut être sûrs qu’une mesure empêchera toutes les attaques, ce serait bien de pouvoir les détecter également, et, encore mieux, corriger le problème rapidement.

Évaluation des mesures de contrôle

Je l’ai mentionné au début de l’article, une mesure n’a aucune valeur intrinsèque. Elle n’a d’intérêt que si elle est pleinement efficace pour rendre le service attendu. Quand on recommande une mesure, qu’elle provienne idéalement du cadre documentaire interne ou d’un référentiel externe, on doit lui associer une menace (simple ou sous la forme d’un scénario) avant de pouvoir en évaluer l’efficacité. C’est une question de bon sens, mais ce n’est pas forcément ce que vous lirez tout le temps. Si on pense à implémenter un pare-feu réseau, qu’est-ce que qu’on souhaite faire exactement fonctionnellement ? Un pare-feu possède deux fonctions principales :

• Il filtre les paquets réseau reçus en agissant comme une passerelle, laisse passer les paquets qui proviennent de sources et à destination de systèmes autorisés, vérifie que les paquets appartiennent à des protocoles eux-mêmes autorisés. Ici la mesure est le filtrage de paquets réseau, qui est une fonction préventive qui va modifier la probabilité qu’un événement de menaces survienne.
• Il journalise les événements pour référence future mais aussi pour alerter les administrateurs dans le cas où des événements doivent être protées à leur attention. Ici la mesure est la journalisation et l’alertage qui est une fonction réactive. qui va modifier la magnitude d’impact après qu’un événement de menaces soit survenu.

Si nous devions évaluer les mesures attendues, il nous faudrait comprendre les différents événements de menace qui sont associés au filtrage de paquets en s’assurant notamment qu’on filtre bien au bon niveau des couches OSI et qu’on ne pense pas utiliser un pare-feu réseau pour prévenir des attaques protocolaires web, qui est une tout autre affaire. Parfois la pertinence peut être partielle mais pas totale face à la menace envisagée. C’est la raison pour laquelle on ne devrait pas évaluer l’efficacité d’une mesure dans l’absolu … en tout cas pas dans le cadre de la gestion des risques. C’est fréquemment l’usage en audit des systèmes d’information et c’est acceptable dans le strict contexte de l’audit souhaitant vérifier que la mesure en place est conforme à un référentiel interne ou externe, la pertinence par rapport à la menace est secondaire …

Quels sont donc les différents critères que nous pourrions évaluer et qui donnerait le niveau global de robustesse ou force de la mesure (comprendre sa capacité à résister à la menace envisagée) ?

• Existence : c’est une valeur binaire, soit la mesure existe, soit elle n’existe pas. Si la mesure n’existe pas, notre évaluation est très rapide.
• Pertinence : on analyse la pertinence de la mesure à résister à la menace envisagée. C’est une estimation dans l’absolu, dans le cas où elle serait pleinement efficace.
• Importance : on analyse les capacités de résistance relatives à la nature de la mesure. Elle peut donner lieu à une pondération. Par exemple prévenir une attaque web est plus important que de la détecter après coup (poids supérieur). Mais comme on sait qu’on ne peut pas être sûrs à 100% que les mesures préventives fonctionnent, des mesures réactives sont nécessaires (poids inférieur).
• Couverture: la mesure doit s’appliquer à l’ensemble du périmètre étudié. Il se peut que la mesure ne s’applique qu’à un seul composant sur deux ou trois, dans ce cas la couverture sera partielle.
• Efficacité : pour que la mesure soit efficace, elle doit pouvoir être opérée de manière uniforme par un personnel correctement formé et adéquatement documentée. L’efficacité ne peut jamais raisonnablement être de 100% dans la vraie vie.
• Indice de confiance : si les critères sont renseignés directement par les parties prenantes avec très peu de vérification par une entité plus objective, si la documentation en soutien est partielle ou pas à jour ou bien si les éléments probants sont peu fiables (p. ex. déclaratifs), on ne voudra pas appliquer un indice de confiance très élevé.

Voici donc les critères utiles pour évaluer de manière reproductible les mesures de contrôle. Il est possible d’utiliser les valeurs classiques d’une distribution statistique normale qui correspondent à une échelle sur 4 niveaux.

On peut résumer tout cela dans un tableau qui pourrait faire partie d’un tableau de calculs accompagnant l’analyse de risque :

La formule calcule la moyenne des pourcentages de chaque colonne avant de multiplier par la valeur binaire de l’existence ou non de la mesure en question , ce qui pour effet de maintenir la valeur de moyenne ou de l’annuler.

On répartit le calcul selon que la mesure évaluée est préventive et affecterait principalement la probabilité d’occurrence ou que la mesure évaluée est réactive et affecterait principalement la magnitude d’impact. Il faut ensuite répercuter ce résultat d’une manière ou d’une autre sur le calcul initial du niveau de risque inhérent, plus précisément de la probabilité initiale ou inhérente et la magnitude d’impact initiale ou inhérente afin de venir en modifier les valeurs.

Cette manière simplifiée s’accorde aussi bien à des méthodes qualitatives que quantitatives ou hybrides (semi-quantitatives). Elle fournit un cadre qui limite les options pour l’analyste et l’oblige à la fin du processus de justifier le calcul, ce qui est une partie essentielle de l’évaluation. Il faut s’efforcer de garder une transparence complète sur l’évaluation et permettre ainsi aux parties intéressées de challenger ce résultat.

Dans l’idéal, en amont de la phase d’analyse de risque, on prépare le référentiel de mesures choisi (par défaut le cadre documentaire interne) de sorte à décrire en avance les critères appliqués. C’est un long processus qui met du temps avant de s’Affiner si bien que si on veut démarrer avec plus de mille mesures on risque de ne jamais livrer ce qui est attendu. Il vaut mieux choisir un cadre plus modeste comme le CSF 2.0 et le mettre à jour progressivement, au fil de son utilisation, en ajoutant ou en précisant les mesures à l’aide de l’expertise interne ou d’un référentiel de mesures complémentaire.

Ci-dessous un exemple de référentiel personnalisé permettant d’ajouter nos propres critères d’évaluation :

Certains référentiels utilisent le cadre CMMI (Capability Maturity Model Integration) pour mesurer la bonne implémentation de chaque mesure. C’est intéressant de s’en inspirer pour des critères génériques, mais il ne faut pas oublier que le niveau de maturité est réservé aux processus et non aux technologies, si bien que si on évalue une mesure purement technologique, on ne va pas réussir à capter ce qui est vraiment attendu et on risque, par exemple, de donner une importance excessive à de la documentation.

C’est un sujet passionnant qui mériterait un article plus long (ou une demande d’intervention) et particulièrement crucial dans l’évaluation des risques car il existe peu de méthodologies détaillant cette phase. Si le reste de l’analyse et de l’évaluation a été correctement réalisé, cette partie est souvent mal expliquée et les parties prenantes on de la misère à comprendre comment on est passé comme par magie d’un certain niveau de risque initial à un autre niveau de risque résiduel. Détailler la méthode d’évaluation est donc une étape qu’il ne faut pas négliger pour montrer une transparence totale et démontrer qu’il existe un cadre, certes pas parfait, mais qui repose sur une logique qu’il est possible d’expliquer.

Igor S., CISSP, CRISC, FAIR, ISO 27001, etc.

The post Comment évaluer des mesures de contrôle (du risque) appeared first on Cyriskintel.

Toutes les méthodologies (comprendre « méthode des méthodes »), les cadres, les bonnes pratiques existent pour accompagner les gestionnaires de risque d’abord, puis les analystes, dans leur quotidien. Toutes introduisent, souvent de manière superficielle, au processus d’analyse et d’évaluation en donnant les étapes logiques. Mais est-ce qu’elles enseignent réellement à analyser un risque ? Force est de constater que non. Elle ont toutes le défaut de séduire exclusivement les analystes qui vont préférer une approche plutôt qu’une autre, vont s’y attacher et négliger toutes les autres. Les bonnes pratiques favorisent un ancrage et endorment les facultés intellectuelles.

L’organisme Étatsunien NIST nous donne 3 définitions dans son glossaire en ligne.

• La plus simple : « Le processus qui consiste à comprendre la nature du risque et à déterminer le niveau de risque. » (provient du glossaire ISO 27000)
• La plus procédurale (et erronée) : « Le processus global d’identification, d’analyse et d’évaluation du risque » (en fait c’est la définition de l’appréciation de risque de ISO 27000).
• La plus complexe : « Le processus d’identification des risques relatifs aux opérations organisationnelles (incluant la mission, les fonctions, l’image, la réputation), les actifs organisationnels, les individus, les autres organisations, et la nation, résultant de l’opération d’un système » (respirez !).

ISO 27005, lui, distingue l’étape d’identification des risques de l’étape d’analyse. Et il a raison, il faut pouvoir avoir identifié des éléments de risque pour pouvoir en faire une analyse. Complétons la définition de ISO 27000 :

« Note 1 : L’analyse du risque fournit la base de l’évaluation du risque (2.74) et des décisions relatives au traitement du risque (2.79).
Note 2 : L’analyse du risque inclut l’estimation du risque. »

Ces définitions sont comme toutes les autres imparfaites, mais elles offrent déjà quelques mots-clés intéressants :

• Consiste à comprendre la nature du risque
• Consiste à déterminer le niveau de risque (même chose que « inclut l’estimation du risque »)
• Fournit la base de l’évaluation de risque

Revenons aux bases par une définition générique du mot « Analyse » (Larousse) : « Étude minutieuse, précise faite pour dégager les éléments qui constituent un ensemble, pour l’expliquer, l’éclairer. » Voilà. Il suffit maintenant de l’appliquer au risque …

• Étude minutieuse : on ne le dira pas assez, malgré toutes les aides qui sont mises à notre disposition, il faut comprendre que l’analyse est une étude minutieuse. Donc lorsqu’un gestionnaire vient nous voir à 8h pour obtenir une analyse express pour 16H le même jour, il faut user de tact pour lui expliquer ce qu’une analyse de risque requiert comme temps pour la collecte d’informations, leur compréhension, leur synthèse, etc.
• Éléments constitutifs : cela a l’air d’aller de soi, mais un risque est une chose assez complexe. Il faut pouvoir l’appréhender, en décomposer les parties, expliquer et évaluer sa nature incertaine.
• Expliquer, éclairer : avant même de penser à évaluer quelque chose qui ressemble à un risque, au débotté, entre le fromage et le dessert, résumé sur un napperon de papier, il faut vraiment comprendre l’enjeu et être capable de l’expliquer à une personne totalement (ou presque néophyte). Encore une fois, cela requiert du temps, l’expérience aide, avec son lot d’erreurs qui tracent le chemin de la compréhension.

Trop souvent, les analyses de risque, spécialement celles qui sont outillées, sont une agrégation très expéditive de spéculations sans aucune rationalité, produites à la minute ou presque, sans produire aucune documentation soutenant les hypothèses retenues et le contexte relatif au problème posé. En revanche, elles vont dans le plus grand des détails pour évaluer tout un tas de critères afin de rendre cette (absence d’)analyse crédible.

Analyse de risque : « c’est l’étude minutieuse, aussi précise que possible, d’un événement incertain (appelé risque) pouvant affecter une organisation, dont il faut comprendre et estimer ses composantes (ou facteurs) que sont sa probabilité (ou vraisemblance) d’occurrence et la magnitude de son impact . »

Une analyse de risque a donc ses propres exigences, somme toute assez logiques, que sont :

• Un temps suffisant pour analyser le problème posé
• L’existence d’une documentation (données en entrée du processus)
• La capacité à communiquer aussi bien à l’oral qu’à l’écrit les conclusions de l’analyse
• La capacité à identifier, recueillir des données de qualité, pertinentes et aussi exactes que possible
• La capacité à énoncer des faits et émettre des hypothèses plausibles pour le contexte de l’analyse.

Il va sans dire qu’actuellement il y a une mode qui se répand rapidement, de se prétendre analyste émérite sans jamais rien lire sur les risques (ni sur rien en général) et de refuser d’écrire un rapport d’analyse de risque décent, dans un français correct (compréhensible). J’offre un conseil gratuitement aux recruteurs dans notre industrie : demandez au candidat à un poste d’analyste de risque quel est le dernier ouvrage qu’il a lu sur le sujet et s’il a de la facilité pour rédiger des rapports. Soyez même taquins, testez ce qu’il vous répondra, car ce qui est aussi très en vogue c’est de survendre une expérience souvent indigente voire inexistante en matière d’analyse de risque. Comprendre, en gros, ce que devrait être la gestion de risques avec ses rôles et ses responsabilités, les différentes lignes de défense (être certifié CRISC par exemple), ne sous-entend aucunement que l’on soit capable d’analyser les risques.

Mais alors qu’analyse-t-on ?

Je vous remercie d’avoir posé cette question … L’objet étudié est un événement incertain (le risque). Cet événement nous intéresse parce qu’à un moment donné quelqu’un a eu une inquiétude sur le fait d’être personnellement (ou plus probablement son organisation) exposé d’une manière ou d’une autre à cet événement. En général, surtout en sécurité de l’information, celui-ci a des effets négatifs, c’est-à-dire qu’il pourrait générer une perte qu’il est possible de qualifier (ca fait mal un peu, beaucoup ou terriblement) et/ou de quantifier (puisque les entreprise ont vocation à gagner de l’argent, elles n’aiment pas en perdre).

On analyse d’abord le problème posé, ici ce fameux événement qui nous empêcherait de dormir. Il faut le définir clairement et lui attribuer un contexte. Ce problème se manifesterait dans des circonstances particulières, sous différentes influences qu’il faudra identifier et en estimer l’importance. Dans les technologies et en sécurité de l’information, cet événement va d’abord affecter les biens tangibles (relativement concrets) de l’entreprise avant d’impacter ceux non tangibles (relativement abstraits). Un système informatique est tangible, une information ou un processus le sont nettement moins, même si on en perçoit l’existence. En général le bien tangible contient et manipule des informations qui servent à un processus. Sinon ces informations n’auraient aucune valeur pour l’entreprise.

L’analyse étant un processus cognitif cherchant à appréhender des incertitudes (ce qu’on connaît mal ou pas du tout), il est fréquent que cela implique de poser des questions, à soi-même ou à un gentil collègue qui fera semblant d’écouter. Et là il y a tout un tas de questions à poser :

• Pourquoi est-ce qu’un tel événement est possible ? L’est-il vraiment ? Dans quelles circonstances peut-il surgir et générer un effet négatif ?
• De quel type d’événement s’agit-il ? Est-ce un événement accidentel ou intentionnel ? Serait-il le fruit du hasard ou d’une vile conspiration ?
• Qui aurait intérêt à déclencher un tel événement (même si cet aspect intéresserait davantage les forces de l’ordre que nous-mêmes, cela permet de dessiner la tableau complet relatif au problème posé)
• Ai-je déjà vécu ce type d’événement, dans quelles circonstances et avec quel effet sur mes activités ? Avec quelle fréquence ?
• Est-ce que les événements passés peuvent m’informer sur les événements futurs ? Accidentels sûrement, intentionnels probablement pas …
• Puisque tout événement a au moins une cause et au moins une conséquence, quelles seraient elles ?
• De quelle manière peut-il m’affecter directement et indirectement (effet de bord) ?
• Quels sont les différents types de biens (ou actifs) qui pourraient être affectées et par quelle action ? À quel point ces biens sont importants pour moi ?
• Ont-ils une valeur pécuniaire estimable ?
• Puis-je estimer la conséquence engendrée par cet événement ?

Ces questions ne sont pas exhaustives, mais les réponses permettent de commencer à envisager des scénarios de risque (ou modalités de pertes) plausibles, pertinents qui seront évalués … je ne suis pas un fan de la confusion engendrée par ISO 27005 parlant d’appréciation et d’évaluation, et des boîtes dans des boîtes. présenté simplement le processus ressemblerait à quelque chose comme ça, dans une vision laïque, à chaque boîte correspondrait son lot de questions :

Même si je n’ai pas spécifiquement parlé d’analyse de risque en tant que tel, on peut reconnaître les différentes étapes et on peut les rapprocher des questions posées plus haut. Tous ces éléments d’analyse doivent être documentés sous deux formes : dans un rapport de risque détaillé pour fournir les arguments et les données sur demande de toute partie prenante et dans un document de synthèse (résumé analytique / sommaire exécutif).

L’analyse de risque est le cœur du système et il faut lui apporter tout le soin nécessaire. Que vous utilisiez une approche qualitative ou quantitative de l’évaluation des risques, la phase de l’analyse est la même. C’est elle qui va recueillir les informations pertinentes et exactes, puis informer et expliquer. Si les informations prises en compte sont de piètre qualité, il ne faut rien attendre du rapport d’analyse de risque et de l’évaluation qui suit. Si on on saisit des erreurs dans un système, on obtiendra des résultats erronés. Même si on les exprime en dollars et qu’on exploite des simulateurs Monte-Carlo.
Si on est trop paresseux pour documenter l’analyse, où se trouvera sa mémoire, dans le cerveau de l’analyste qui en réalisera vingt ou cinquante à l’année ? Comment être capable de défendre les résultats qui pourraient impliquer de nouveaux investissements ?

Igor S.

CISSP, CRISC, CISM, ISO 27001, ISO 27005, ISO 27032

The post Qu’est-ce qu’une analyse de risque ? appeared first on Cyriskintel.