Comment fonctionne un Encodeur Décodeur et pourquoi l’utiliser en Deep Learning?
L’Encodeur-Décodeur est un réseau de neurones découvert en 2014. Et il est encore utilisé aujourd’hui dans de nombreux projet.
C’est un pilier fondamental du Deep Learning.
On le retrouve notamment dans les logiciels de traduction. C’est le cas par exemple du réseau de neurones à l’origine de Google Traduction.
Il est donc utilisé pour des tâches de NLP (le traitement de texte), mais il peut aussi être utilisé pour faire de la Vision par Ordinateur !
Cela en fait une architecture essentielle à connaître.
Qu’est ce qu’un Encodeur–Décodeur ?
Un Encodeur-Décodeur est un réseau de neurones.
Ou plutôt, c’est un modèle de Deep Learning composé de deux réseaux de neurones.
Ces deux réseaux de neurones ont habituellement la même structure.
La premiere sera utilisée normalement mais le deuxième fonctionnera de manière inversé :
- Un premier réseau de neurones va prendre une phrase en entrée pour en sortir une séquence de chiffres.
- Le second réseau va prendre cette séquence de chiffres en entrée pour cette fois-ci en sortir une phrase !
En fait ces deux réseaux font la même chose, simplement l’un est utilisé dans la direction normal et l’autre et dans le sens opposé.
On a donc une phrase, une séquence de mots, qui est encodé en séquence de chiffres, puis décodé en une autre séquence de mots, la phrase traduite.
Le premier réseau de neurones est appelé l’encodeur et le deuxième neurones le décodeur.
Mais la pourquoi l’Encodeur-Décodeur est efficace pour la traduction ?
Il est difficile (et peut fiable) d’utiliser un réseau de neurones classique pour passer d’une phrase en français à sa traduction anglaise.
Effectivement, si l’on traduit directement une phrase avec l’approche classique, le réseau traduirait la phrase mot à mot sans se soucier du sens global de la phrase.
LA MÉTHODE PARÉ POUR FAIRE DU DEEP LEARNING !
Reçois tes 7 JOURS De Formation GRATUITE Pour Apprendre À Créer TA PREMIÈRE INTELLIGENCE ARTIFICIELLE !
Pendant les 7 prochains jours je vais te montrer comment utiliser les Réseaux de neurones.
Tu vas comprendre ce qu'est le Deep Learning avec des exemples concrets qui vont te rester dans la tête.
ATTENTION, cette série d’email ne s’adresse pas à tout le monde. Si tu es du genre à aimer les cours théoriques et scolaires tu peux passer ta route.
Mais si tu souhaite apprendre la méthode PARÉ pour faire du Deep Learning, clique ici :
Par exemple si l’on a comme phrase « prendre une expression au pied de la lettre » et qu’on la traduit mot à mot, on obtiendrait : « take an expression at the foot of the letter » . Cela ne veut rien dire en anglais.
Mais l’approche Encodeur Décodeur résout ce problème.
Effectivement la structure de l’encodeur permet d’extraire le sens de la phrase.
Il stocke les informations récupérées dans un vecteur (le résultat de l’encodeur).
Ensuite, le décodeur analyse ce vecteur pour produire sa propre version de la phrase (en anglais).
Dans notre exemple précédent, l’Encodeur-Décodeur se rapprocherait plus de la bonne traduction : « take an expression literally ».
Ce résultat est bien meilleur !
C’est grâce à l’Encodeur que l’on peut extraire le sens de la phrase. Cette information est ensuite encodée sous la forme d’un vecteur que le décodeur peut ensuite utiliser de manière efficace.
Conclusion
Les Encodeur-Décodeurs sont largement utilisés dans le monde de la recherche mais ils ont un défaut.
Le vecteur que l’Encodeur produit est fixe.
Il sera donc efficace pour des tâches ou la phrase est petite mais dès que la phrase est trop longue, le vecteur ne pourra pas stocker l’information nécessaire.
Dans ce cas spécifique, la traduction finale peut ne pas être pertinente.
Heureusement pour nous, les Encodeur-Décodeurs sont aujourd’hui couplés à des mécanismes qui leur permettent de s’adapter aux phrases de toutes tailles
C’est d’ailleurs le sujet de notre article sur le mécanisme de l’attention !
LA MÉTHODE PARÉ POUR FAIRE DU DEEP LEARNING !
Reçois tes 7 JOURS De Formation GRATUITE Pour Apprendre À Créer TA PREMIÈRE INTELLIGENCE ARTIFICIELLE !
Pendant les 7 prochains jours je vais te montrer comment utiliser les Réseaux de neurones.
Tu vas comprendre ce qu'est le Deep Learning avec des exemples concrets qui vont te rester dans la tête.
ATTENTION, cette série d’email ne s’adresse pas à tout le monde. Si tu es du genre à aimer les cours théoriques et scolaires tu peux passer ta route.
Mais si tu souhaite apprendre la méthode PARÉ pour faire du Deep Learning, clique ici :
