Comment fonctionne un Encodeur Décodeur et pourquoi l’utiliser en Deep Learning?
L’Encodeur-Décodeur est un réseau de neurones découvert en 2014. Et il est encore utilisé aujourd’hui dans de nombreux projet.
C’est un pilier fondamental du Deep Learning.
On le retrouve notamment dans les logiciels de traduction. C’est le cas par exemple du réseau de neurones à l’origine de Google Traduction.
Il est donc utilisé pour des tâches de NLP (le traitement de texte), mais il peut aussi être utilisé pour faire de la Vision par Ordinateur !
Cela en fait une architecture essentielle à connaître.
Qu’est ce qu’un Encodeur–Décodeur ?
Un Encodeur-Décodeur est un réseau de neurones.
Ou plutôt, c’est un modèle de Deep Learning composé de deux réseaux de neurones.
Ces deux réseaux de neurones ont habituellement la même structure.
La premiere sera utilisée normalement mais le deuxième fonctionnera de manière inversé :
- Un premier réseau de neurones va prendre une phrase en entrée pour en sortir une séquence de chiffres.
- Le second réseau va prendre cette séquence de chiffres en entrée pour cette fois-ci en sortir une phrase !
En fait ces deux réseaux font la même chose, simplement l’un est utilisé dans la direction normal et l’autre et dans le sens opposé.
On a donc une phrase, une séquence de mots, qui est encodé en séquence de chiffres, puis décodé en une autre séquence de mots, la phrase traduite.
Le premier réseau de neurones est appelé l’encodeur et le deuxième neurones le décodeur.
Mais la pourquoi l’Encodeur-Décodeur est efficace pour la traduction ?
Il est difficile (et peut fiable) d’utiliser un réseau de neurones classique pour passer d’une phrase en français à sa traduction anglaise.
Au fait, si ton objectif est d'apprendre le Deep Learning - j’ai préparé pour toi le Plan d’action pour Maîtriser les Réseaux de neurones.
7 jours de conseils gratuits d’un ingénieur spécialisé en Intelligence Artificielle pour apprendre à maîtriser les réseaux de neurones à partir de zéro :
- Planifie ton apprentissage
- Structure tes projets
- Développe tes algorithmes d’Intelligence Artificielle
J’ai basé ce programme sur des faits scientifiques, des approches éprouvées par des chercheurs mais également mes propres techniques que j'ai conçues au fil de mes expériences dans le domaine du Deep Learning.
Pour y accéder, clique ici :
À présent, on peut revenir à ce que je mentionnais précédemment.
Effectivement, si l’on traduit directement une phrase avec l’approche classique, le réseau traduirait la phrase mot à mot sans se soucier du sens global de la phrase.
Par exemple si l’on a comme phrase « prendre une expression au pied de la lettre » et qu’on la traduit mot à mot, on obtiendrait : « take an expression at the foot of the letter » . Cela ne veut rien dire en anglais.
Mais l’approche Encodeur Décodeur résout ce problème.
Effectivement la structure de l’encodeur permet d’extraire le sens de la phrase.
Il stocke les informations récupérées dans un vecteur (le résultat de l’encodeur).
Ensuite, le décodeur analyse ce vecteur pour produire sa propre version de la phrase (en anglais).
Dans notre exemple précédent, l’Encodeur-Décodeur se rapprocherait plus de la bonne traduction : « take an expression literally ».
Ce résultat est bien meilleur !
C’est grâce à l’Encodeur que l’on peut extraire le sens de la phrase. Cette information est ensuite encodée sous la forme d’un vecteur que le décodeur peut ensuite utiliser de manière efficace.
Conclusion
Les Encodeur-Décodeurs sont largement utilisés dans le monde de la recherche mais ils ont un défaut.
Le vecteur que l’Encodeur produit est fixe.
Il sera donc efficace pour des tâches ou la phrase est petite mais dès que la phrase est trop longue, le vecteur ne pourra pas stocker l’information nécessaire.
Dans ce cas spécifique, la traduction finale peut ne pas être pertinente.
Heureusement pour nous, les Encodeur-Décodeurs sont aujourd’hui couplés à des mécanismes qui leur permettent de s’adapter aux phrases de toutes tailles
C’est d’ailleurs le sujet de notre article sur le mécanisme de l’attention !
Un dernier mot, si tu veux aller plus loin et apprendre le Deep Learning - j’ai préparé pour toi le Plan d’action pour Maîtriser les Réseaux de neurones.
7 jours de conseils gratuits d’un ingénieur spécialisé en Intelligence Artificielle pour apprendre à maîtriser les réseaux de neurones à partir de zéro :
- Planifie ton apprentissage
- Structure tes projets
- Développe tes algorithmes d’Intelligence Artificielle
J’ai basé ce programme sur des faits scientifiques, des approches éprouvées par des chercheurs mais également mes propres techniques que j'ai conçues au fil de mes expériences dans le domaine du Deep Learning.
Pour y accéder, clique ici :
