Dans cet article on vous explique LA méthode pour ne plus oublier la différence entre Vrais Positifs, Faux Négatifs, Vrais Négatif et Faux Positifs.
Ces termes définissent le type de résultat qu’on peut avoir après une prédiction à deux possibilités (en Machine Learning on appelle ça une classification binaire)
Ils permettent d’évaluer la performance de notre modèle, à quel point ses prédictions sont fiables.
Souvent ces termes sont confondus entre eux et c’est pourquoi on vous donne ici la technique pour s’en souvenir !
Pourquoi utiliser les Vrais Positifs / Faux Négatifs ?
Pour mesurer la performance d’un modèle de Machine Learning, on ne regarde pas simplement le nombre de prédictions bien réalisées.
Au contraire, cette approche peut nous donner une vision faussée de notre modèle.
Prenons l’exemple d’un choix a deux possibilités : on se place à la sortie d’un tunnel pour prédire ce qu’il en sort. On imagine, qu’il y a ici deux possibilités soit c’est une voiture, soit c’est une moto.
Si sur cette route 80% des utilisateurs sont en voitures et qu’on prédit à chaque fois que ce sera une voiture qui sortira du tunnel… On aura à la fin un taux de réussite de 80%.
C’est ce qu’on appelle une prédiction naïve car il n’y a pas vraiment de reflexion : on ne prédit pas, on décide arbitrairement que tout ce qui sortira du tunnel sera une voiture.
Le problème, c’est que cette approche marche lorsqu’il y a 80% de voiture sur la route, mais si le contexte change, cette approche ne marchera plus.
En fait ce type de prédiction n’est pas fiable. Effectivement, vu que nos données sont biaisés (il y a beaucoup plus de voitures que de motos), notre performance l’est aussi.
C’est pour cela qu’une approche naïve n’est pas efficace. Il nous faut alors une approche intelligente.
Ce que l’on cherche à faire en Machine Learning c’est justement d’avoir une approche intelligente, un modèle reproductible dans différents contextes (dans notre cas, sur différents tunnels).
Heureusement pour nous, il existe une analyse de performance qui permet de donner plus d’importance aux modèles intelligents qu’aux modèles naïfs.
Comment fonctionnent les Vrais Positifs / Faux Négatifs ?
Cette méthode, c’est celle des Vrais Positifs / Faux Négatifs.
Reprenons notre exemple du tunnel.
Nous avons deux choix :
- une voiture sort du tunnel
- une moto sort du tunnel
L’objectif ici, est de mesurer la performance de notre prédiction sur ces deux choix.
Par défaut, on va dire que la voiture correspond au choix « positif » et la moto au choix « négatif ».
Pour chacun de ces choix, soit notre prédiction est vrai (bonne) soit elle est fausse (mauvaise).
Par exemple, on prédit qu’une voiture va sortir du tunnel. On se place donc dans le choix « positif ».
Une voiture sort effectivement du tunnel, notre prédiction est donc vrai. C’est un Vrai Positif.
Si au contraire notre prédiction était fausse (une moto sort du tunnel), on dira que c’est un Faux Positif.
Même chose pour le choix « négatif » : on prédit que c’est une moto qui va sortir du tunnel.
Une moto sort, notre prédiction est alors vrai. C’est un Vrai Négatif.
Mais si une voiture sort, notre prédiction est fausse. C’est un donc un Faux Négatif.
Finalement, on a quatre résultats possible :
Au fait, si ton objectif est d'apprendre le Deep Learning - j’ai préparé pour toi le Plan d’action pour Maîtriser les Réseaux de neurones.
7 jours de conseils gratuits d’un ingénieur spécialisé en Intelligence Artificielle pour apprendre à maîtriser les réseaux de neurones à partir de zéro :
- Planifie ton apprentissage
- Structure tes projets
- Développe tes algorithmes d’Intelligence Artificielle
J’ai basé ce programme sur des faits scientifiques, des approches éprouvées par des chercheurs mais également mes propres techniques que j'ai conçues au fil de mes expériences dans le domaine du Deep Learning.
Pour y accéder, clique ici :
À présent, on peut revenir à ce que je mentionnais précédemment.
- une voiture sort du tunnel
- on avait prédit qu’une voiture sortirait – Vrai Positif
- on avait prédit qu’une moto sortirait – Faux Négatif
- une moto sort du tunnel
- on avait prédit qu’une voiture sortirait – Faux Positif
- on avait prédit qu’une moto sortirait – Vrai Négatif
Une fois vu, on peut facilement confondre ces concepts. C’est pour cela qu’on vous propose deux méthodes pour les retenir facilement !
Méthode écrite
Ici il faut retenir que :
- voiture = positif
- moto = négatif
Puis, pour chaque prédiction, on utilise la phrase « On a prédit …(2) et c’était …(1) ».
Par exemple si on prédit qu’une voiture sort du tunnel mais que finalement c’est une moto qui en sort, on aura :
« On a prédit positif (2) et c’était faux (1) »
On prend le (1) et le (2) qui nous donne : Faux Positif.
Dit d’une manière plus détaillée :
« On a prédit qu’une voiture (2) sortirait du tunnel et c’était finalement faux (1) ».
On prend le (1) et le (2) qui nous donne Faux Voiture mais comme dit au début de l’exercice voiture = positif donc, on a Faux Positif.
La méthode est donc de se rappeler de cette phrase « On a prédit …(2) et c’était …(1) » et de la compléter selon la prédiction.
Méthode visuel
Ici aussi, il faut retenir l’hypothèse de base :
- voiture = positif
- moto = négatif
Par exemple : on a prédit qu’une moto va sortir du tunnel et finalement c’est bien une moto qui en sort.
Dans ce cas notre prédiction est vraie (1) et nous avons prédit que c’était une moto = négatif (2).
On prend le (1) et le (2) qui nous donne : Vrai Négatif.
Pour cette méthode il faut seulement garder ce tableau en tête et remplir la colonne du milieu avec les choix correspondant (dans notre cas « voiture » et « moto »).
À savoir
En Machine Learning, pour afficher le résultat d’un modèle de prédiction à deux possibilités (comme l’exemple que l’on vient de voir) on utilise une matrice de confusion.
La matrice de confusion est en fait un tableau dans lequel on affiche le nombre de prédictions selon chaque possibilité :
| Nombre de Vrais Positifs | Nombre de Faux Négatifs |
| Nbr de Faux Positifs | Nbr de Vrai Négatifs |
Vous me demanderez alors : est-ce que la matrice de confusion est en fait juste un mot compliqué pour dire « résultat sous forme de tableau » ?
Je vous répondrez que oui. Il existe des gens qui aime rendre les choses compliqués sans raison, mais cela reste un terme savoir en Machine Learning !
Rappelez-vous que la matrice de confusion est un tableau permettant d’afficher les résultats du modèle.
Pour aller plus loin et si vous voulez en savoir plus sur comment utiliser de manière efficace les Vrais Positifs et Faux Négatifs vous pouvez continuer la lecture avec notre article sur le Recall, la Précision et le F1 Score ! 🙂
sources :
- L. Antiga, Deep Learning with PyTorch (2020, Manning Publications) – notre lien affilié
- Photo by Ryan Millsap on Unsplash
Un dernier mot, si tu veux aller plus loin et apprendre le Deep Learning - j’ai préparé pour toi le Plan d’action pour Maîtriser les Réseaux de neurones.
7 jours de conseils gratuits d’un ingénieur spécialisé en Intelligence Artificielle pour apprendre à maîtriser les réseaux de neurones à partir de zéro :
- Planifie ton apprentissage
- Structure tes projets
- Développe tes algorithmes d’Intelligence Artificielle
J’ai basé ce programme sur des faits scientifiques, des approches éprouvées par des chercheurs mais également mes propres techniques que j'ai conçues au fil de mes expériences dans le domaine du Deep Learning.
Pour y accéder, clique ici :
