3 choses à savoir sur les fonctions d’activation

Les fonctions d’activation peuvent sembler complexes quand on débute le Deep Learning. Pourtant… il suffit de ces 3 choses pour les comprendre !

Le Deep Learning, c’est une sous partie du Machine Learning.

Son apport, c’est l’utilisation de couches de neurones. Ces couches, misent bout à bout, constituent un Réseau de Neurones.

Mais quelle est la place des fonctions d’activation dans tout ça ?

Un rôle simple

Les fonctions d’activation se situent dans chacune des couches de neurones.

À chaque fois que nos données traversent une couche, elles sont modifiés.

En fait, deux modifications sont appliquées dans chaque couche :

  • les neurones qui vont transformer nos données
  • la fonction d’activation qui va les scaler (les normaliser pour que leur valeurs ne soient pas dispersés)

Prenons un exemple simple :

Fonction d’activation Sigmoïde

Avec la fonction d’activation Sigmoïde, toutes nos données seront bornée entre 0 et 1.

Borner des valeurs entre 0 et 1, c’est ce qu’on appelle la normalisation.

La normalisation, c’est LA technique qui va permettre de faciliter l’apprentissage de notre modèle.

Mais ce n’est pas l’unique utilité des fonctions d’activation !

Le coeur du Réseau de Neurones

Et si je vous disais que sans fonctions d’activation pas de Deep Learning ?

Plus haut, on a vu que deux modifications sont appliquées dans chaque couche du réseau de neurones.

Ces modifications sont en fait des fonctions.

Il y a donc la première fonction appliquée par les neurones. Puis la fonction suivante, celle qui nous intéresse dans cet article : la fonction d’activation.

C’est la fonction d’activation qui permet d’appliquer un réel changement sur données. Pourquoi ? Parce que l’activation est non-linéaire.

Effectivement, une suite de plusieurs fonctions linéaires équivaut en mathématique à une seule fonction linéaire.

C’est pourquoi notre modèle de Deep Learning perdrait en efficacité s’il utilisait uniquement des couches linéaires.

On veut alors que notre modèle soit non-linéaire et c’est pour ça qu’on introduit des fonctions d’activations.

LA MÉTHODE PARÉ POUR FAIRE DU DEEP LEARNING !

Reçois tes 7 JOURS De Formation GRATUITE Pour Apprendre À Créer TA PREMIÈRE INTELLIGENCE ARTIFICIELLE !

Pendant les 7 prochains jours je vais te montrer comment utiliser les Réseaux de neurones.

Tu vas comprendre ce qu'est le Deep Learning avec des exemples concrets qui vont te rester dans la tête.

ATTENTION, cette série d’email ne s’adresse pas à tout le monde. Si tu es du genre à aimer les cours théoriques et scolaires tu peux passer ta route.

Mais si tu souhaite apprendre la méthode PARÉ pour faire du Deep Learning, clique ici :

On a écrit un article qui explique en détail la raison d’utiliser des fonctions non-linéaire. Pour les plus curieux, ça se passe ici ! 🔥

Les fonctions d’activation les plus utilisées

Passons à la partie pratique.

Concrètement, il existe des dizaines de fonction d’activation. Votre seul embarras sera de choisir laquelle utiliser.

Alors, quelles sont les fonctions d’activation les plus utilisées ?

Dans la plupart des projets, trois fonctions d’activations reviennent fréquemment :

  • ReLu, la plus utilisée
  • Sigmoid
  • Softmax

Si vous comprenez ces fonctions là, vous aurez les bases pour bien démarrer le Deep Learning ! 🦎

Et voici la brique de code pour les utiliser avec la librairie Keras :

tf.keras.activations.relu(x)
tf.keras.activations.tanh(x)
tf.keras.activations.sigmoid(x)

D’autres fonctions d’activations existent, vous pouvez toutes les explorer dans cet article détaillé. Et en bonus de fin vous trouverez un tableau récapitulant dans quels cas les utiliser ! 😉

sources :

LA MÉTHODE PARÉ POUR FAIRE DU DEEP LEARNING !

Reçois tes 7 JOURS De Formation GRATUITE Pour Apprendre À Créer TA PREMIÈRE INTELLIGENCE ARTIFICIELLE !

Pendant les 7 prochains jours je vais te montrer comment utiliser les Réseaux de neurones.

Tu vas comprendre ce qu'est le Deep Learning avec des exemples concrets qui vont te rester dans la tête.

ATTENTION, cette série d’email ne s’adresse pas à tout le monde. Si tu es du genre à aimer les cours théoriques et scolaires tu peux passer ta route.

Mais si tu souhaite apprendre la méthode PARÉ pour faire du Deep Learning, clique ici :

Tom Keldenich
Tom Keldenich

Data Engineer & passionné d'Intelligence Artificielle !

Fondateur du site Inside Machine Learning

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Enter your email to receive for free

The PANE method for Deep Learning

* indicates required

 

You will receive one email per day for 7 days – then you will receive my newsletter.
Your information will never be given to third parties.

You can unsubscribe in 1 click from any of my emails.

Entre ton email pour recevoir gratuitement
la méthode PARÉ pour faire du Deep Learning


Tu recevras un email par jour pendant 7 jours - puis tu recevras ma newsletter.
Tes informations ne seront jamais cédées à des tiers.

Tu peux te désinscrire en 1 clic depuis n'importe lequel de mes emails.