3 choses à savoir sur les fonctions d’activation

Les fonctions d’activation peuvent sembler complexes quand on débute le Deep Learning. Pourtant… il suffit de ces 3 choses pour les comprendre !

Le Deep Learning, c’est une sous partie du Machine Learning.

Son apport, c’est l’utilisation de couches de neurones. Ces couches, misent bout à bout, constituent un Réseau de Neurones.

Mais quelle est la place des fonctions d’activation dans tout ça ?

Un rôle simple

Les fonctions d’activation se situent dans chacune des couches de neurones.

À chaque fois que nos données traversent une couche, elles sont modifiés.

En fait, deux modifications sont appliquées dans chaque couche :

  • les neurones qui vont transformer nos données
  • la fonction d’activation qui va les scaler (les normaliser pour que leur valeurs ne soient pas dispersés)

Prenons un exemple simple :

Fonction d’activation Sigmoïde

Avec la fonction d’activation Sigmoïde, toutes nos données seront bornée entre 0 et 1.

Borner des valeurs entre 0 et 1, c’est ce qu’on appelle la normalisation.

La normalisation, c’est LA technique qui va permettre de faciliter l’apprentissage de notre modèle.

Mais ce n’est pas l’unique utilité des fonctions d’activation !

Le coeur du Réseau de Neurones

Et si je vous disais que sans fonctions d’activation pas de Deep Learning ?

Plus haut, on a vu que deux modifications sont appliquées dans chaque couche du réseau de neurones.

Ces modifications sont en fait des fonctions.

Il y a donc la première fonction appliquée par les neurones. Puis la fonction suivante, celle qui nous intéresse dans cet article : la fonction d’activation.

C’est la fonction d’activation qui permet d’appliquer un réel changement sur données. Pourquoi ? Parce que l’activation est non-linéaire.

Effectivement, une suite de plusieurs fonctions linéaires équivaut en mathématique à une seule fonction linéaire.

C’est pourquoi notre modèle de Deep Learning perdrait en efficacité s’il utilisait uniquement des couches linéaires.

On veut alors que notre modèle soit non-linéaire et c’est pour ça qu’on introduit des fonctions d’activations.


CRÉER TON APPLICATION IA !


Reçois tes 5 JOURS De Formation GRATUITE Pour Apprendre À Créer Ton APPLICATION d’INTELLIGENCE ARTIFICIELLE !


Tous les fondamentaux de la création d’Application IA : les approches, les outils et techniques, les librairies et framework, et bien d'autres !

Découvres étape par étape la création d’application de Deep Learning (tu apprendras même à trouver des idées d’appli !).

En bonus, tu recevras notre Guide Ultime du Deep Learning !


On a écrit un article qui explique en détail la raison d’utiliser des fonctions non-linéaire. Pour les plus curieux, ça se passe ici ! 🔥

Les fonctions d’activation les plus utilisées

Passons à la partie pratique.

Concrètement, il existe des dizaines de fonction d’activation. Votre seul embarras sera de choisir laquelle utiliser.

Alors, quelles sont les fonctions d’activation les plus utilisées ?

Dans la plupart des projets, trois fonctions d’activations reviennent fréquemment :

  • ReLu, la plus utilisée
  • Sigmoid
  • Softmax

Si vous comprenez ces fonctions là, vous aurez les bases pour bien démarrer le Deep Learning ! 🦎

Et voici la brique de code pour les utiliser avec la librairie Keras :

tf.keras.activations.relu(x)
tf.keras.activations.tanh(x)
tf.keras.activations.sigmoid(x)

D’autres fonctions d’activations existent, vous pouvez toutes les explorer dans cet article détaillé. Et en bonus de fin vous trouverez un tableau récapitulant dans quels cas les utiliser ! 😉

sources :


CRÉER TON APPLICATION IA !


Reçois tes 5 JOURS De Formation GRATUITE Pour Apprendre À Créer Ton APPLICATION d’INTELLIGENCE ARTIFICIELLE !


Tous les fondamentaux de la création d’Application IA : les approches, les outils et techniques, les librairies et framework, et bien d'autres !

Découvres étape par étape la création d’application de Deep Learning (tu apprendras même à trouver des idées d’appli !).

En bonus, tu recevras notre Guide Ultime du Deep Learning !


Tom Keldenich
Tom Keldenich

Data Engineer & passionné d'Intelligence Artificielle !

Fondateur du site Inside Machine Learning

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.