La vraisemblance fait référence à la plausibilité qu’un certain événement se produise, quand on juge celui-ci vraisemblable ou pouvant se produire sous certaines conditions. Pour estimer les chances qu’un certain événement puisse se produire, en espérant aller au-delà d’un vague sentiment qui peut comprendre beaucoup de biais potentiels, on estime sa probabilité afin de rendre l’évaluation plus objective. Les probabilités sont utiles à quantifier (avec plus ou moins d’exactitude) le niveau d’incertitude (et donc du risque).

L’objectif de toute analyse de risque sérieuse est de n’envisager que des informations pertinentes et les plus exactes possibles, sans tomber dans les spéculations spécieuses qui sont la marque des analyses de très mauvaise qualité. Mais est-ce que l’utilisation des probabilités rend l’évaluation plus objective et plus exacte ? Et quel est leur réel intérêt ? Quelles techniques probabilistes utiliser et pour quoi faire ? Nous allons tenter de répondre à ces questions dans cet article. Gardez à l’esprit que si mon intérêt pour les risques m’a porté de force vers ce sujet crucial de la quantification des risques, je suis issu d’une formation littéraire. Les scientifiques me pardonneront tout raccourci ou approximation et ils sont invités à me corriger.

Première chose à clarifier, il existe deux manières d’estimer des probabilités :

• La méthode dite objective et autrement appelée fréquentiste, car utilisant l’estimation des fréquences d’un événement
• La méthode dite subjective et autrement appelée bayésienne (de son découvreur Bayes).

Dans la méthode fréquentiste, on estime le nombre des cas favorables (l’événement étudié se produit) par rapport au nombre des cas possibles pour un événement quelconque, tous les cas possibles étant supposés également possibles (il y a autant de chances qu’un événement A, B ou C se produisent). C’est le fameux tirage de dés non truqués : il y a normalement une chance sur 6 (un dé classique possède 6 faces) que n’importe quelle valeur soit obtenue à chaque lancer, l’issue étant indépendante de l’observateur. Plus important, les lancers sont des événements distincts et sans aucune relation entre eux. Ces conditions sont importantes car elles définissent le sens du mot aléatoire en probabilités, ce qui a des implications directes avec son utilisation dans l’évaluation des risques.

Il faut ouvrir une parenthèse importante : il est fréquent de lire ou d’entendre les termes aléatoire et incertain comme s’ils étaient interchangeables. Or, il faut comprendre aléatoire comme se rapportant à l’observateur et à son incapacité à prédire les issues possibles à l’avance, à sa passivité relativement à l’événement dont il ne peut influencer l’issue. Cet événement est imprévisible (pour lui), mais on considère a priori que les issues possibles ont toutes une chance de se produire. On comprend de suite qu’un événement aléatoire est forcément incertain, mais est-ce que tous les événements incertains sont aléatoires et le fruit du hasard ?
Un événement incertain est également difficilement prévisible même s’il n’est pas complètement le fruit du hasard. Il est fonction de paramètres qui ne sont pas ou mal connus. C’est notamment le cas d’un événement composé d’un nombre élevé de paramètres qui ne sont pas tous maîtrisables ou d’une absence de données pour tirer des conclusions définitives. C’est aussi le cas pour tous les événements associés à un choix humain pas toujours prévisible.

Selon les explications précédentes :

• Un événement cyber accidentel dû à un dysfonctionnement matériel mal maintenu est-il un événement aléatoire ou seulement incertain ?
• Un événement cyber intentionnel à la suite d’une attaque complexe dont l’origine est un cybercriminel, est-il aléatoire ou seulement incertain ?

Ces questions sont importantes car elles déterminent quelles techniques probabilistes sont utiles dans chaque cas et, surtout, les leurs limites pour estimer un événement de manière pertinente.

Les probabilités objectives ou fréquentistes

 Avec la méthode fréquentiste, on se fait l’observateur objectif des différents lancers. On peut ainsi réaliser 100 lancers de dés, observer les résultats et estimer les fréquences d’obtenir tel événement ou tel autre qui seront rapportées. On ne tient compte d’aucun autre paramètre pouvant influencer le résultat, c’est une des conditions d’utilisation de cette méthode.
De la même manière, on peut observer et noter toutes les attaques cyber résultant d’une méthode particulière, sans se soucier des motivations et de la foule de paramètres autour de ces attaques (intentionnelles), et ainsi obtenir la fréquence ou la prévalence de ces méthodes d’attaques. Ces chiffres sont importants lorsqu’on réalise une veille de cybersécurité. C’est la principale source permettant d’évaluer le niveau de risque inhérent (indépendamment de possibles facteurs d’atténuation) à un événement de menace (attaque).

En langage probabiliste, pour un événement A, on note cette probabilité P(A) dont la valeur se situe entre 0 et 1, avec 0 l’événement est impossible et 1 l’événement est certain.

Pour un dé possédant 6 faces numérotées de 1 à 6 : le nombre total d’issues possibles (ou « l’univers des possibilités » est l’ensemble des nombres : 1, 2, 3, 4, 5, 6. Soit 6 éléments en tout.

Les probabilités ou les chances d’avoir une issue favorable pour un événement A seront toujours estimées sous la forme d’une proportion du nombre d’issues favorable, noté n(A) sur le nombre total de possibilités, noté N. Pour le cas du dé, N = 6. On décrit ensuite l’événement que nous souhaitons estimer, par exemple :

• Les probabilités d’obtenir un 6 à chaque lancer : P(A) = 1/6  = 0,166 ou 16,67%
• Les probabilités d’obtenir un nombre impair (soit 1, 3 ou 5) P(A) = 3/6 = ½ = 0,5 = 50%

Dans le premier cas nous avons 16,67% de chances d’obtenir un 6 à chaque lancer et dans le second, on a 50% de chances d’obtenir un nombre impair.
L’exemple du dé est important : toutes les faces ont les mêmes probabilités d’apparaître ET chaque lancer est indépendant des précédents (sinon la première condition serait fausse).

Lorsqu’on estimer les fréquences des différentes attaques (approche fréquentiste) on traite les événements comme étant indépendants les uns des autres et comme le fruit du hasard. Or, il n’en est rien : si l’issue d’une attaque ou leur simple occurrence est incertaine par la méconnaissance des motivations de chaque acteur et leur ciblage, celle-ci n’est pas aléatoire. Pour compenser cette approche un peu naïve, certains experts amateurs de criminalistique ou issus du monde militaire ont tenté d’évaluer les acteurs par le biais de leurs motivations et ressources, en gros leurs MOM (Motivation – Opportunité – Moyens). Sous sa forme basique, on modélise ces acteurs sous la forme qualitative ou semi-quantitative.

Dans l’exemple ci-dessous, je vais encore utiliser une distribution normale sur 4 critères pour faire correspondre avec des niveaux qualitatifs (0 ; 0,25 ; 0,50 ; 0,75 ; 1) :

Dans cet exemple on utilise juste 3 paramètres (MOM), le plus fluctuant étant celui de l’opportunité qui revient un peu à évaluer une certaine forme de prédisposition, mais il est possible d’en ajouter beaucoup d’autres pour tenter de compenser son simplisme. Mais ça n’enlèvera pas ses défauts intrinsèques :

• On connaît rarement le type d’acteur en cause après coup, l’attribution est souvent compliquée, c’est encore plus difficile d’anticiper ;
• Le modèle est figé, les mêmes valeurs se répèteront pour chaque événement, les valeurs sont relativement absolues et étant associées à chaque catégorie d’acteur ;
• De quelle probabilité s’agit-il : d’une occurrence d’attaque ou du succès d’une attaque ? Les valeurs ne seraient pas les mêmes dans un cas ou dans l’autre ;
• L’estimation se base sur du gros bon sens et parfois sur des statistiques assez vagues, ça ne les rend pas pour autant exactes ;
• Selon l’évaluation, la probabilité qu’une attaque soutenue par un État (que j’appelle cybersoldat) serait presque certaine, ce qui ne correspond pas si on ne modère pas par d’autres critères.

Comme souvent lorsqu’on essaye d’estimer un événement incertain, on se rassure en pensant que les paramètres pris en compte et leur évaluation, même approximatifs et simplistes, c’est mieux que de ne rien prendre en compte du tout et de considérer que cela est le fruit du hasard. Mais est-ce vraiment le cas ? J’ai personnellement des doutes.

La méthode FAIR, à partir d’un certain niveau de granularité, utilise cette méthode appelée « Capacité de la menace » censée déterminer la susceptibilité à une attaque. Je la trouve archaïque et peu pertinente même si elle est drapée d’une approche mathématique qui semble faire du sens. D’ailleurs Jack Jones dit lui-même dans son livre qu’il utilise rarement ce niveau de granularité à cause de l’absence de consensus sur le mode d’évaluation …

Peut-être qu’un jour nous disposerons de données statistiques abondantes et exactes, donc exploitables, mais pour l’instant la seule chose que l’on puisse raisonnablement avancer se rapporte à la typologie des attaques :

• Les attaques opportunistes sont les plus nombreuses avec un impact limité
• Les attaques ciblées sont les moins nombreuses mais leur impact peut être considérable

Peut-on mettre ça sous forme de formule ? Peut-être, en appliquant de manière un peu péremptoire un rapport respectif de 80/20 : considérons qu’environ 80% des attaques seront opportunistes et leur impact sera limité (faible à modéré) et 20% seront ciblées et leur impact sera significatif (disons élevé à très élevé). Parmi les attaques ciblées on pourrait avoir un rapport aussi 80/20 comme suit : 80% des attaques seront d’origine externe et 20% d’origine interne, avec l’idée derrière d’identifier un black swan (un événement rare mais particulièrement impactant). Les acteurs internes, si le processus d’embauche est efficace, seront probablement et majoritairement respectueux des règles déontologiques et craindront les conséquences s’ils se font attraper (appétit au risque faible, dirait-on) et ce, même s’ils possèdent des permissions étendues sur les systèmes. Les négligences sont plus fréquentes au sein des organisations que des actes revanchards d’un employé mécontent. Et si on a tous un cas ayant défrayé la chronique ces dernières années, on l’évaluerait probablement à quoi, un incident tous les dix, quinze ou vingt ans dépendant du secteur d’activité de l’entreprise et du pays.

C’est là que la méthode FAIR est intelligente et prévoit un critère appelé « probabilité d’action » ou « probabilité de passage à l’acte » qui vient modérer à la hausse ou à la baisse la modélisation MOM. Dans l’exemple précédent, on pourrait considérer que la « valeur » associée à l’organisation étudiée serait faible car située dans une région et appartenant à un secteur d’activité dont on a des statistiques montrant une faible activité.

Tout ce que nous avons vu jusqu’ici se rapporte à l’évaluation du risque inhérent. Nous n’avons pas ou très peu pris en compte les facteurs de prédisposition (ma terminologie) ou susceptibilité (FAIR) à une attaque, et particulièrement les contre-mesures éventuellement en place. Selon ma taxonomie, on doit considérer deux types de facteurs de prédisposition PEST(I)LE :

• Facteurs politiques : quelle est la probabilité que la politique menée par notre pays puisse conduire à des attaques cyber dont nous serions la cible ?
• Facteurs économiques : à quel point notre organisation évolue dans un secteur compétitif ?
• Facteurs sociaux : à quel point la politique interne à l’entreprise est susceptible de conduire à un mécontentement des employés ?
• Facteurs technologiques : à quel point la technologie que nous utilisons est susceptible d’être la cible d’attaquants ?
• Facteurs informationnels : à quel point les attaquants s’intéresseraient à nos informations et lesquelles, dans quel but ?
• Facteurs légaux et réglementaires : est-ce que notre organisation est sujette à des contraintes réglementaires dont la conformité pourrait être volontairement mise à mal par les attaquants ?
• Facteurs environnementaux : à quel point l’organisation est affectée par les phénomènes climatiques, géologiques ou écologiques ?

Au final, quel que soit le nombre et le type de critères que vous voulez examiner, l’objectif est toujours d’estimer une fréquence, soit inhérente, observée/constatée, après coup ou bien anticipée. Dans les évaluations de risques c’est ce sont les fréquences anticipées qui nous intéressent. Si vous vous rappelez du calcul de l’ALE (Annual Loss Expectancy) abordée lors d’un précédent article, la formule considère l’ARO (Annual Rate of Occurrence) multiplié par les pertes anticipées pour un seul événement ou SLE (Single Loss Expectancy). Les fréquences anticipées vues précédemment permettent de déterminer l’ARO.

La question que l’on doit se poser c’est si les méthodes vues jusqu’ici, dites objectives, permettent de faire une estimation exacte. Et jusqu’à quel point l’estimation est vraiment objective ? La réponse est clairement que l’estimation des incidents cyber n’est jamais complètement objective, car elle repose sur les perceptions d’un certain nombre de personnes, à commencer par l’analyse de risque, mais toutes les parties prenantes peuvent ajouter des biais et des inexactitudes qu’il sera difficile d’éliminer totalement.
Voici un exemple qui m’est arrivé par le passé. Réalisant une veille d’anticipation des menaces pour une entreprise, j’ai introduit le déni de service dans la liste des possibilités. Je disposais d’un grand nombre de sources externes concordantes pour me rassurer sur la pertinence à la fois de ce choix, mais aussi des statistiques (donc des fréquences) de ces attaques, leur magnitude par pays ou région géographique. Cependant, malgré tous ces éléments, le RSSI ne voulait pas en entendre parler. Il soutenait que le déni de service n’était pas pertinent et que même si cela risquait de se produire, il n’aurait aucun impact significatif pour l’organisation. Sur quelles données s’appuyait-il pour dire cela ? Aucune. Juste le sentiment, la fausse certitude, de disposer des meilleures informations possibles de manière parfaitement arbitraire.
Dans ce cas, qu’est-ce qu’il faudrait retenir : les choix informés avec des données à l’appui comme toute démarche rationnelle commanderait ou bien le sentiment d’un professionnel de la sécurité qui semblait arbitraire ? La réponse est bien souvent politique. C’est la raison pour laquelle, il faut sensibiliser tous les professionnels impliqués directement ou indirectement dans la gestion des risques, et la nécessité d’avoir une démarche rationnelle pltôt que spéculative. Cette démarche nous impose de collecter des données de qualité et en quantité suffisantes avant de tirer la moindre conclusion. Mais aussi d’éliminer les nombreux biais cognitifs qui nous empêchent de voir clair. Malheureusement, ce type de démarche doit s’apprendre, elle n’est pas innée. Et comme tout apprentissage, cela demande d’y consacrer du temps et aussi d’avoir conscience de nos limites pour chercher la remédiation adéquate. C’est toute une culture qu’il faut mettre en place progressivement.

Du fait du grand nombre de paramètres incertains et si la quantité ou la qualité des données sont insuffisantes, les méthodes objectives appliqués aux événements intentionnels ne nous sont pas d’un grand secours. Il faudrait disposer d’un très grand nombre de données et même si c’était le cas, les probabilités usuelles ne s’appliquent pas vraiment aux événements intentionnels complexes qui ont un niveau variable de dépendance entre eux. Pourquoi ?

Voici les difficultés rencontrées :

• Les attaques cyber ont pour origine une décision à un moment donnée de la part d’un acteur de passer à l’acte selon des paramètres insuffisamment compris les rendant très incertains à défaut d’être aléatoires ;
• Les attaques cyber qui comptent, celles qui ont un impact significatif, sont des événements complexes, c’est-à-dire qu’ils se composent d’un grand nombre de variables soit inconnues, soit méconnues et d’événements interreliés ;
• Les attaques cyber impactantes suivent une stratégie constituée des objectifs stratégiques de l’acteur qu’on ne connaît pas à l’avance, eux-mêmes nécessitant d’atteindre au préalable un certain nombre d’objectifs tactiques qui eux dépendent grandement du niveau de résistance rencontré ;
• Puis il est fort à parier que l’organisation va réagir d’une certaine façon lors du premier événement, ce qui va considérablement modifier les paramètres applicables au suivant, elle ne va pas regarder sans rien faire et rester la proie béate aux attaques ultérieures identiques. Si l’organisation est un minimum efficace, elle va modifier ses capacités de prévention, de détection, et de réaction pour tout événement similaire au premier ;
• En outre, parce que les mesures de contrôle du risque sont rarement spécifiques à un événement de menace (par exemple le contrôle d’accès), la modification des capacités pour un événement risque fort de modifier les probabilités qu’un autre événement même différent se produise.

Probabilités bayésiennes

Comment fait-on pour estimer les probabilités d’événements complexes dont les paramètres eux-mêmes sont incertains ? C’est là que les méthodes bayésiennes sont d’un précieux secours. Dans les probabilités bayésiennes, la probabilité est « une mesure du degré de croyance ou de confiance associées avec l’occurrence d’un événement ».
Ces méthodes sont particulièrement adaptées à l’évaluation des risques lorsque les événements dépendent de plusieurs variables partiellement connues (probabilités conditionnelles), dont les observateurs possèdent une croyance particulière que vous avez besoin d’actualiser en continu, et que les probabilités a posteriori dépendent des probabilités a priori … comme c’est le cas lorsque l’évaluation dépend de facteurs tels que le niveau de vulnérabilité (les faiblesses observées) et le degré de résistance face aux événements (les mesures de contrôle implémentées) qu’on veut comparer au niveau de risque inhérent précédemment évalué. Elles permettent d’évaluer, par exemple, la croyance a priori (ou inhérente) puis la croyance a posteriori (ou résiduelle) après avoir évalué la présence et l’efficacité des mesures de contrôle.

Les arbres bayésiens nous permettent également de déterminer des événements complexes ayant des issues de probabilité variable … et ça c’est génial à mon avis, car cela résout les limitations associées aux évaluations de risque traditionnelles qui touchent des événements très (trop) simples, les excluant de fait, alors qu’ils sont la plupart du temps complémentaires.

Exemple d’évaluation du risque associé à la modélisation d’une attaque complexe

Ci-dessous un exemple de modélisation d’une attaque complexe (un rançongiciel) dont on suppose que l’on ait d’abord réalisé une évaluation de chacune des phases pour déterminer le niveau inhérent (à moins de disposer déjà de cette estimation). Ensuite, on détermine le niveau de probabilité pour chacune des étapes une fois considéré la présence de mesures d’atténuation standard attendues pour chacune de ces étapes et on calcule la probabilité agrégée en multipliant toutes les valeurs. Ce type d’estimation tient compte du degré de complexité de ce type d’attaques, ce qui les rendrait moins fréquentes. Une attaque pa rançongiciel de ce type aurait (les valeurs attribuées sont arbitraires) une probabilité de 7,96%. Mais pour obtenir le risque résiduel, il faut aussi déterminer la magnitude d’impact, de préférence en dollars sonnants et trébuchants.

 Pour voir les explications sur la modélisation maison adaptée à la fois de la cyber et de MITRE Att&ck, vous pouvez lire l’article suivant : https://cyriskintel.com/menaces/

Évaluation du niveau de risque par des probabilités bayésiennes

Établissons une hypothèse à étudier : « Quel est la probabilité qu’un attaquant passe le périmètre en contournant le pare-feu sur Internet ? ».

P(A) désignerait la probabilité qu’un événement soit validé comme un incident (attaque réelle) en se basant sur les constats de l’équipe de SOC de l’organisation.

P(B) désignerait la probabilité qu’un tel événement soit détecté à temps a priori, grâce au SIEM dont il faudra ensuite évaluer l’efficacité.

P(A|B) désignerait la probabilité qu’un événement de détection B soit effectivement une attaque confirmée (événement A).

P(B|A) désignerait la probabilité qu’une attaque confirmée A ne soit pas détectée et que l’attaquant aurait contourné les règles du pare-feu à cause. C’est l’étape durant laquelle il faut mesurer le niveau de vulnérabilité (ou susceptibilité selon FAIR).

Pour illustrer l’exemple, les équipes du SOC sont assez sûres de n’avoir détecté que peu de contournements de ce pare-feu : P(A) = 0,1 ou 10%.

Après avoir étudié l’implémentation du pare-feu, il s’est avéré que certaines règles n’étaient pas journalisées concernant des protocoles connus pour être exploitables. La probabilité de détecter une violation de la politique de sécurité dans ce pare-feu est estimée à : P(B) = 0,2 ou 20%. Cette probabilité concerne la simple détection de tentatives d’intrusion, pas forcément des attaques réussies et caractérisées.

Par ailleurs, les équipes d’administration des pares-feux sont sous l’eau et elles ont rarement l’occasion de vérifier que tous les flux autorisés sont encore justifiés. Et il apparaîtrait qu’il subsiste certaines vulnérabilités dans ce pare-feu, toujours pas corrigées, permettant à l’attaquant de potentiellement contourner les règles : P(B|A) = 0,8 ou 80%.

La formule bayésienne pour tenir compte de ces estimations serait :

En calculant la valeur d’ALE, on se rend compte que le coût d’un tel événement serait au-delà de la tolérance de l’entreprise qui mandate l’équipe de sécurité pour trouver des mesures d’atténuation du risque nécessitant de diminuer aussi bien l’impact potentiel (les pertes envisagées) en améliorant les mesures réactives ainsi que les probabilités en améliorant la prévention de ce type d’attaque. Les experts décident donc d’améliorer le processus de surveillance, notamment la journalisation et l’alertage, de créer un nouveau cas d’usage permettant au SIEM de mieux intégrer les données issues de la journalisation de ce pare-feu, cela pour diminuer la magnitude d’impact. En même temps, ils décident de créer un projet consistant à passer en revue avec les secteurs d’affaires concernés toutes les règles pour vérifier qu’elles sont toujours nécessaires. Un autre projet est lancé pour corriger la vulnérabilité du pare-feu dans les plus brefs délais.

On demande à l’équipe de réévaluer le risque en tenant compte de ces nouvelles informations. Les analystes reviennent avec l’évaluation suivante :

Les probabilités issues des détections courantes par les équipes du SOC ne changent pas : P(A) = 0,1 ou 10%.

La probabilité de détecter et empêcher une violation de la politique de sécurité dans ce pare-feu est maintenant estimée à : P(B) = 0,05 ou 5%.

La possibilité de contourner le pare-feu et de traverser le périmètre est maintenant estimée : P(B|A) = 0,1 ou 10%.

En appliquant cette probabilité à la formule d’ALE précédente, la magnitude d’impact a diminué sous l’action de l’amélioration du processus de détection et la quantité de perte envisagée est maintenant considérée comme acceptable et sous contrôle. L’équipe de surveillance de risque de la deuxième ligne de défense vient confirmer que l’estimation entre maintenant dans les limites définies de l’appétit au risque, qui peut maintenant être accepté.

Vous avez apprécié l’article, avez des suggestions pour l’améliorer, ou vous voudrez que je clarifie un point sur la gestion des risques : vous pouvez me contacter sur LinkedIn ou laisser un commentaire.

Igor S., CISSP, CRISC, FAIR, ISO 27001 LI, etc.

The post L’estimation des probabilités lors d’une évaluation des risques appeared first on Cyriskintel.

Les analystes de risque ayant un peu d’expérience n’ignoreront pas qu’il existe deux approches d’évaluation des risques : qualitative et quantitative. Les deux procèdent d’une même phase d’analyse du risque qui est la plus importante. Si les données en entrée de l’évaluation sont erronées ou non pertinentes, aucune approche ne pourra sauver l’évaluation : « garbage in, garbage out. »
La méthode qualitative utilise des valeurs ordinales (qui se mesurent les unes par rapport aux autres pour montrer une gradation) pour hiérarchiser les risques entre eux. Elle est relativement facile à modéliser et à utiliser et c’est la raison pour laquelle elle est largement utilisée. Surtout, la plupart des analyses de risques que nous faisons en TI et cyber n’ont aucune conséquence grave comme la perte d’une vie humaine, et nous n’envoyons aucune fusée sur la lune … ce n’est pas tant la précision qui est recherchée, mais une hiérarchisation des événements qui seront ordonnées entre eux, du moins grave au plus grave. Elle fait l’affaire pour gérer les priorités dans un programme. Le livrable le plus répandu pour présenter ces risques à la direction est la carte thermique de ces risques (heatmap) avec des zones de couleur représentant les degrés de gravité relative.

L’avantage de ce type de représentation est sa simplicité, sa compréhension est assez intuitive même pour des personnes qui ne sont pas dans le métier. Son inconvénient c’est que cela peut être simpliste et rigide, tout repose sur la qualité de l’analyse et de son argumentation pour soutenir la décision de placer un risque dans une zone ou dans une autre … et généralement la partie analyse est souvent très faible pour justifier ces choix qui semblent arbitraires.
Surtout, l’idée est juste de hiérarchiser et donc de donner une priorité d’investissement de chacun des risques. Le problème s’aggrave lorsque cette simplification dont la valeur est purement pédagogique donne lieu à des abus comme de placer des seuils d’acceptabilité des risques appelés parfois seuils de tolérance et d’autres, moins bien inspirés, seuils d’appétit au risque (ce qui mérite un autre article). C’est dangereux parce qu’ils règlent de manière excessivement rigide les risques dont on va s’occuper et ceux dont on ne s’occupera pas (ou moins vite). Or les risques sont toujours plus que les valeurs qui leur sont attribuées. Des risques de non-conformité réglementaire, même placés dans la zone modérée, méritent probablement une attention particulière (on dira que l’organisation a un appétit limité pour ce type de risques, surtout dans un secteur très réglementé comme le secteur financier). Il est aussi possible de pondérer davantage les impacts de certains types de risque, par exemple les risques de non-conformité seraient relativement plus élevés que des risques opérationnels.
L’autre problème avec cette approche réside dans le raccourci méthodologique qui consiste à multiplier (souvent) ou additionner (plus rarement) les valeurs estimées de vraisemblance et d’impact. Or, à moins de quantifier des risques, multiplier des valeurs ordinales n’a absolument aucun sens car elles ne représentent rien dans l’abslu sauf un degré relatif dans une échelle rigide allant de 4 à 10. C’est aller un peu vite dans l’interprétation de la formule (non mathématique) décriant un risque :

La véritable signification de cette formule, exploitant des propriétés arithmétiques basiques, c’est de dire que si un facteur est nul (on dirait sa valeur est égale à zéro), alors le risque est nul également. C’est une manière d’exprier simplement la nécessité de conjuguer les deux facteurs et non une formule magique permettant de qualifier des risques. Pour ma part, j’ai choisi depuis longtemps d’utililser la moyenne. Elle a pour avantage de ne jamais dépasser les valeurs extrêmes de base. Pr exemple si l’échelle est de 4 valeurs, de 1 à 4, la valeur moyenne ne sera jamais inférieure à 1 et ne sera jamais supérieure à 4. Par ailleurs, le calcul de la moyenne est une manière presque intuitive de conjuguer plusieurs facteurs. Si l’envie nous prenait de pondérer un facteur, il suffirait d’opter pour une moyenne pondérée. Mais en aucun cas on ne doit oublier qu’on ne calcule que la moyenne de valeurs ordinales, c’est-à-dire, représentant une hiérarchie, un ordre relatif et non une valeur absolue. En revanche, la multiplication prend tout son sens lorsqu’on souhaite quantifier des risques, car il n’y a pas une infinité de moyens pour conjuguer la probabilité d’un événement avec une perte financière …

Une carte thermique est un outil de discussion et de débat, sur la base des valeurs relatives et de leurs catégories (ou taxons). C’est, pourrait-on dire, un début plutôt qu’une fin en soi. C’est la raison pour laquelle on l’utilisera même pour des risques quantifiés, en remplaçant les valeurs ordinales par des fourchettes de valeurs. On retiendra alors sa portée pédagogique, plus que sa pertinence.

Revenons à la différence d’approches qui soulève toujours des débats houleux du même calibre qu’entre la science dure (mathématiques, physique) et la science molle (sciences sociales). Les défenseurs des évaluations quantitatives expriment des reproches très durs envers les évaluations qualitatives, excessives à mon sens, nourris d’idéologie et d’incompréhension. Les deux approches sont complémentaires, et cela aboutit souvent à une approche hybride ou semi-quantitative, surtout si on veut épargner aux différentes parties prenantes la douleur de se retrouver sur le banc de l’école pour apprendre ou réapprendre les probabilités.

Un risque est lié à un événement, souvent simpliste lui-même et à toute l’incertitude qui l’entoure. C’est un événement de menace ou événement redouté. Il fait peur et donc on veut pouvoir l’anticiper. Au début de l’analyse on connaît peu de chose sur lui, le plus souvent des idées préconçues nourries de lectures rapides de sources supposées autoritaires. L’objectif de l’analyse est donc d’étudier tous les aspects relatifs à cet événement afin de pouvoir évaluer les deux facteurs d’incertitude que sont son impact sur l’organisation et la vraisemblance de son occurrence. En effet, un événement a toujours une cause et une conséquence, cette dernière peut avoir un certain impact sur l’organisation. Pour en savoir plus au sujet de l’analyse, on pourra lire mon article dédié.

Si on veut qualifier un événement, on utilisera généralement une échelle de gradation explicite de type :

• Très élevé (ou Critique)
• Élevé
• Modéré
• Faible

La gradation a, idéalement un nombre de niveaux pair de sorte à éliminer le biais qui consiste à sélectionner la valeur moyenne par défaut. Je trouver personnellement que 4 niveaux est insuffisant pour avoir un minimum de granularité, mais il faut bien commencer quelque part. Imaginez-vous donner un niveau de risque agrégé pour l’ensemble de l’entreprise en 3 ou 4 niveaux. Est-il facile de faire comprendre à la haute direction la bonne utilisation des budgets, si d’année en année le niveau de risque est identique ? La réponse est évidemment non. Si on avait un ou deux niveaux additionnels, il serait plus facile de montrer une certaine progression, dans les sens où le niveau de risque diminuerait avec le temps et au fil de l’injection de dollars dans

Il reste qu’avec des niveaux qualifiés, des valeurs ordinales, des zones de couleur différentes, on peut facilement saisir visuellement le regard des lecteurs. Les gradations de couleurs thermiques du bleu/vert (pourquoi vert ?) au rouge sont suffisamment intuitives sans expertise en gestion des risques. Un drapeau de couleur comme sur les abords de la plage ou un sémaphore pourraient tout aussi bien faire l’affaire, tant que les niveaux suivent une logique simple saisissables par tous de manière uniforme.

La révolution de la quantification des risques ?

La question est rhétorique. Quantifier des risques n’est pas une révolution en soi, elle a toujours existé, juste pas dans tous les domaines. La manière la plus simple de quantifier les risques c’est d’utiliser la fameuse formule de Perte Annuelles Attendues (ou ALE, Annualized Loss Expectancy). Dans le sens de la quantification des risques, un risque est lié à un événement de perte. Donc une perte annualisée permet, en conjonction de la fréquence anticipée d’un événement de perte, d’évaluler un risque. Vous vous souvenez de la fameuse (non) formule pour qualifier un risque ? Voici donc sa version quantifiée :

C’est si basique, que même la méthode FAIR si en vogue de nos jours, est articulée autour de cette formule. Elle ne fait qu’ajouter avec plus ou moins de bonheur des éléments additionnels qu’on verra un peu plus loin.

Décomposons cette formule :

• ALE (Annualized Loss Expectancy, ou Perte Annuelles Attendues), c’est le coût du risque, la conjugaison des coûts engendrées par un événement de perte multiplié par la fréquence anticipée de ce type d’événement.
• ARO (Annual Rate of Occurrence, ou Taux d’Occurrence Annuel), c’est le nombre d’événements qu’on anticipe par an (p. ex. 0,5 c’est un événement tous les deux ans, 1 ce sera un seul événement, etc.)
• SLE (Single Loss Expectancy, ou Perte Unique Attendue), c’est le montant estimé pour un seul événement de perte, avant donc d’y appliquer le nombre d’événements attendus sur base annuelle.

Il reste à déterminer le coût d’un unique événement de perte. Selon la formule, on doit déterminer les éléments complémentaires par la formule SLE = EF x AV :

• EF (Exposure Factor, ou Facteur d’Exposition, c’est la quantité réelle de perte qu’on anticipe et dont l’utilisation est plus intuitive si elle est appliquée en cas de dommage physique d’un actif, dont c’était la portée initiale. UN événement de perte peut détruire une portion variable d’un actif, cette portion est exprimée en ratio ou en pourcentage : un bâtiment, un serveur peut être détruit à 10, 30, 80%.
• AV (Asset Value, ou Valeur de l’Actif) : c’est la valeur en dollars sonnant et trébuchants qu’on attribue à l’actif affecté par l’événement étudié.

Application de la formule simple de ALE dans le cas d’un bâtiment dont le coût est estimé à 800 000$ et dont on étudie le risque en cas de tremblement de terre. L’événement de perte étudié serait exprimé sous la frome d’un scénario de type : « Destruction (conséquence) de la salle de serveurs (actif) suite à un tremblement de terre (agent ET événement de menace) ».

• AV = 800 000$
• EF = destruction à 80%
• SLE = EF x AV = 800 000$ x 80% = 640 000$
• ARO = 0,083 (soit un événement tous les 12 ans, 1/12)
• ALE = ARO x SLE = 0,083 x 640 000$ = 53 333$ (annuels)

Si une organisation ne souhaitait pas atténuer ce risque inhérent, il lui faudra provisionner pour ces coûts. Dans le cas contraire, il lui faudrait trouver une solution pour réduire (ou atténuer) ce risque à hauteur de ce coût annuel.

Imaginons que le perte concerne un événement cyber, un serveur par exemple, le coût d’un événement de perte devra inclure l’ensemble des coûts induits par cet événement, soit : le coût annuel de licence logicielle de la solution de mitigation, le coût du support de cette solution, l’intervention en cas d’incident, etc. La Valeur de l’Actif reviendra potentiellement à évaluer le coût total d’un investissement ou coût total de possession (TCO, Total Cost of Ownership). Si on ne connaît pas la valeur de l’actif ou l’ensemble des pertes qui pourraient être engendrées en cas d’incident, ne pensez plus à quantifier le risque. Le résultat sera bien exprimé en dollars que comprendra la haute direction, mais clui-ci sera archi faux.

Dans le cas d’un événement cyber, la décomposition des pertes en utilisant le facteur d’exposition appliqué à la valeur aura moins de sens que pour un incident physique. Il y a deux alternatives, soit on ne considère que le coût estimé de l’incident, soit on applique le facteur d’exposition au processus sous-jacent.
Imaginons que l’actif affecté est un système de mission qui génère une partie non négligeable des ventes de l’organisation. Le facteur d’exposition pourrait être compris comme le pourcentage de ventes que le système sert à générer annuellement et donc les pertes potentielles directes.
toute la pertinence de la quantification des risques réside dans la capacité à obtenir des probabilités d’occurrence plausible des événements étudiés et de déterminer précisément les coûts engendrés par de tels événements.

Pour vous aider à trouver d’un coût d’oeil la valeur d’ARO qui s’appliquerait, voici un tableau de correspondances :

Pour voir les correspondances avec la taxonomie de la méthode FAIR :

Comment calculer la perte générée par un événement ?

FAIR distingue très justement les pertes directes (appelées primaires) des pertes indirectes (appelées secondaires), et souligne aussi que les pertes secondaires sont généralement plus élevées que les pertes primaires, mais qu’elles sont plus rares. Je précise qu’à mon avis, les pertes indirectes sont également plus difficiles à connaître avec exactitude, en dehors d’une divulgation de renseignements personnels fournissant des repères gravés dans la loi.

Sans aller trop dans le détail, voici la liste des catégories possibles de pertes qu’il faut prendre en compte durant une analyse quantitative :

• Pertes directes
  • Destruction physique avec la diminution de la valeur de l’actif
  • Indisponibilité (des données, du système support)
  • Coûts de réaction aux incidents (ne pas tenir compte du salaire des analystes dont c’est le métier, mais plutôt des heures supplémentaires qui seront dues)
  • Perte de revenu, de chiffre d’affaires
  • Coûts engendrés par l’emploi de personnel supplémentaire, intérimaire
  • Coûts de remplacement matériel ou logiciel
  • Coûts de la perte de propriété intellectuelle
• Pertes indirectes
  • Coûts relatifs à toute procédure judiciaire
  • Coûts liés à la perte d’une licence pour les activités clé de l’entreprise (p. ex. licence bancaire)
  • Coûts liés à l’intervention d’une autorité de régulation (p. ex. l’AMF)
  • Coûts liés à la récupération de l’image de marque (p. ex. une agence de relations publiques)
  • Coûts liés au remplacement d’un haut directeur démis de ses fonctions, emprisonné, etc.

Il est tout à fait possible, sinon souhaitable, d’associer une évaluation quantitative de certains risques à une évaluation qualitative qu’elle complétera avantageusement. Par exemple, on sélectionne certains risques qualifiés d’Élevés et Très élevés, et on les évalue financièrement pour donner un point de vue additionnel. On pourra challenger la qualification initiale et on vérifiera le niveau de perte associée afin de communiquer ces risques précis à la haute direction ou aux secteurs d’affaires pour les aider davantage à se situer. Je préconise d’ajouter cette évaluation non pas dans l’analyse de risque mais dans le registre des risques. Cette évaluation financière pourrait être la responsabilité de la deuxième ligne de défense (ou de la ligne 1B ou 1,5 lorsqu’elle existe).

Le calcul de l’ALE qui sert de base à la quantification des risques depuis les années 70 permet de déterminer le niveau de risque inhérent, c’est-à-dire sans prendre en considération les mesures de contrôle de ce risque. La partie de la quantification la plus délicate est celle justement liée à l’évaluation de l’efficacité de ces mesures et de trouver une manière de répercuter cela dans les résultats du risque inhérent, sans perdre en pertinence et en évitant de s’éloigner trop loin du rivage rassurant de la rationalité. S’il est relativement facile de quantifier un risque inhérent, il est infiniment plus difficile d’évaluer le risque résiduel. Je n’ai vu à ce jour aucune méthode ou outil facilitant cet exercice, je ne pense pas non plus qu’il y ait un consensus sur ce sujet (d’ailleurs aucun consensus n’est capable d’assurer un niveau de pertinence suffisant) mais j’essaierai dans un prochain article de proposer une approche qui me paraît logique à défaut d’être parfaite en tout point.

Igor S., CISSP, CRISC, ISO 27001

The post Quantification des risques appeared first on Cyriskintel.