Recall, Precision, F1 Score – Explication Simple Métrique en ML

Le Recall, la Precision, le F1 Score comment retenir facilement leur utilité et ce que ces métriques impliquent ?

Pour comprendre ces métriques il faut connaître les concepts de Vrais Positifs / Faux Négatifs (détaillés dans cet article avec en plus une méthode pour ne pas les oublier)

À partir de ces concepts, nous allons déduire des métriques qui nous permettront de mieux analyser les performances de notre modèle de Machine Learning !

Recall

Le recall permet de savoir le pourcentage de positifs bien prédit par notre modèle.

En d’autres termes c’est le nombre de positifs bien prédit (Vrai Positif) divisé par l’ensemble des positifs (Vrai Positif + Faux Négatif).

Sous forme mathématique, on a :

Mais quel est l’intérêt du recall ?

Plus il est élevé, plus le modèle de Machine Learning maximise le nombre de Vrai Positif.

Mais attention, cela ne veut pas dire que le modèle ne se trompe pas.

Quand le recall est haut, cela veut plutôt dire qu’il ne ratera aucun positif. Néanmoins cela ne donne aucune information sur sa qualité de prédiction sur les négatifs.

Precision

La precision est assez similaire au recall, il faut donc bien comprendre leur différence.

Elle permet de connaître le nombre de prédictions positifs bien effectuées.

En d’autres termes c’est le nombre de positifs bien prédit (Vrai Positif) divisé par l’ensemble des positifs prédit (Vrai Positif + Faux Positif).

Cela nous donne sous forme mathématique :

Qu’est ce que nous apporte la precision ?

Plus elle est élevé, plus le modèle de Machine Learning minimise le nombre de Faux Positif.

Quand la précision est haute, cela veut dire que la majorité des prédictions positives du modèle sont des positifs bien prédit.

Un exemple concret pour mieux comprendre

Reprenons notre exemple de l’article sur les Vrais Positif et Faux Négatifs.

Nous sommes en face d’un tunnel et nous devons prédire si c’est une voiture (Positif) ou une moto (Négatif) qui en sortira.

Eh bien le recall, c’est le nombre de voiture que notre modèle a prédit, et qui se sont avérés être effectivement des voitures, divisé par l’ensemble des voitures qui ont traversé le tunnel.

La precision, c’est aussi le nombre de voiture que notre modèle a prédit, et qui se sont avérés être effectivement des voitures, mais ici, divisé par le nombre total de voiture que notre modèle a prédit, et qui se sont avérés être vrai (voiture) ou fausse (moto).

En fait avec le recall, on regarde le nombre de positif que le modèle a bien prédit sur l’ensemble des positifs.

Alors qu’avec la precision, on regarde le nombre de positif que le modèle a bien prédit sur l’ensemble des positifs prédit.

Méthode pour retenir

En une phrase :

• Plus le recall est haut, plus le modèle repère de positif
• Plus la precision est haute, moins le modèle se trompe sur les positifs

F1 Score

Bien qu’ils soient utiles, ni la précision ni le recall ne permettent d’évaluer entièrement un modèle de Machine Learning.

Séparément c’est deux métrique sont inutiles :

• si le modèle prédit tout le temps « positif », le recall sera élevé
• au contraire, si le modèle ne prédit jamais « positif », la precision sera élevée

On aura donc des métriques qui nous indique que notre modèle est efficace alors qu’il sera au contraire plus naïf qu’intelligent.

Heureusement pour nous, une métrique permettant de combiner la precision et le recall existe : le F1 Score.

Le F1 Score permet d’effectuer une bonne évaluation de la performance de notre modèle.

Il se calcule ainsi :

Alors pourquoi calculer le F1 Score et pas simplement la moyenne des deux métriques ?

En fait, en statistique, le calcul sur les pourcentages n’est pas exactement le même que sur les nombres entiers.

Ici le F1 Score est ce qu’on appelle la moyenne harmonique. C’est un autre type de moyenne que celle habituelle et c’est un excellent moyen de calculer la moyenne de taux ou de pourcentage (ici le recall et la precision).

Cela fait du F1 Score une des métriques les plus utilisés chez les Data Scientist !

Comme vous l’aurez compris, le plus votre F1 Score est élevé, le plus votre modèle est performant.

C’est tout pour cet article sur les métriques en Machine Learning, j’espère qu’il vous aura été utile 🙂

sources :

• L. Antiga, Deep Learning with PyTorch (2020, Manning Publications) – notre lien affilié
• Photo by Jonathan Körner on Unsplash