Des chercheurs affirment que les LLM n’ont aucune capacité logique.
Je prétends qu’il suffit d’avoir le BON prompt. Voici comment j’ai découvert une terrible nouvelle manière de prompter :
J’appelle cette approche : Thinking Through Visualisation.
La Papier de Recherche : Alice in Wonderland
Le problème est le suivant :
« Alice a 2 sœurs et 4 frères.
Combien de sœurs le frère d’Alice a-t-il ? »
La réponse est 3.
C’est évident pour l’Homme.
Mais les chercheurs affirment que l’IA a beaucoup de mal à résoudre ce problème…
Et c’est vrai !
Tous les concurrents d’OpenAI bute sur la logique.
Même GPT-4o n’obtient pas de bons résultats.
Vous pouvez obtenir une réponse précise en dialoguant avec un LLM.
Mais avec un seul prompt ?
C’est presque impossible !
Les chercheurs ont testé plusieurs méthodes de prompting :
« Restricted », « Standard », « Thinking » et autres.
Je les ai essayées de mon côté.
Mais aucune d’entre elles n’a vraiment fonctionné.
Sur le papier, les taux de bonnes réponses sont les suivants :
- Claude 3 Sonnet : 1%
- GPT-3.5 : 5%
- Llama3-8b : 5%
- Llama3-70b : 5%
- GPT-4o: 65%
Mais voici les résultats que j’ai obtenus avec mon approche :
- Claude 3 Sonnet : 10%
- GPT-3.5 : 65%
- Llama3-8b : 70%
- Llama3-70b : 90%
- GPT-4o: 90%
Thinking Through Visualisation
Pour cela, j’ai utilisé une nouvelle approche que j’ai appelée : Thinking Through Visualisation.
(Je l’appelle « nouvelle » parce que je n’ai jamais entendu parler d’une méthode similaire).
Le principe est inspiré par la tâche de visualisation de Yann LeCun dont il a parlé plusieurs fois sur Twitter.
Au fait, si ton objectif est d'apprendre le Deep Learning - j’ai préparé pour toi le Plan d’action pour Maîtriser les Réseaux de neurones.
7 jours de conseils gratuits d’un ingénieur spécialisé en Intelligence Artificielle pour apprendre à maîtriser les réseaux de neurones à partir de zéro :
- Planifie ton apprentissage
- Structure tes projets
- Développe tes algorithmes d’Intelligence Artificielle
J’ai basé ce programme sur des faits scientifiques, des approches éprouvées par des chercheurs mais également mes propres techniques que j'ai conçues au fil de mes expériences dans le domaine du Deep Learning.
Pour y accéder, clique ici :
À présent, on peut revenir à ce que je mentionnais précédemment.
En réfléchissant à cela et à notre capacité humaine à comprendre et à trouver des solutions en pensant par images, j’ai pensé que cela améliorerait les capacités du modèle si je l’incitais à visualiser le problème et à énoncer ce qu’il voit.
(Pour que le LLM « pense », il a besoin d’énoncer).
D’après mes expériences actuelles et les résultats que j’ai partagés, cela fonctionne à merveille !
Voici le meilleur prompt que j’ai utilisé :
Alice has 2 sisters and she also has 4 brothers. How many sisters does Alice’s brother have?
You are Alice's brother. In front of you are all the members of your family. Make up real names for them. List them one by one with first name and then their function.
Finally, you must first count and then answer the question in <answer>Here is the answer</answer>Évidemment, le prompt peut être amélioré et généralisé !
N’hésitez pas à le tester et à l’optimiser pour vos propres besoins.
Je suis curieux d’entendre vos retour sur cette approche !
Breakdown du Prompt
Voilà le breakdown du prompt :
- Établir le problème – `Alice has …`
- Changer la perspective – `You are Alice’s brother.`
- Susciter la visualisation – `In front of you are all the members of your family.`
- Renforcer la visualisation – `Make up real names for them.`
- Lister les variables du problème – `List them one by one with first name and then their function.`
- Utiliser la méthode « Explique puis répond » de Andrew Ng dont j’ai déjà parlé précédemment – `Finally, you must first count and then answer the question`
Où trouver d’autres approches de prompting ?
Pour retrouver mes publications sur l’Intelligence Artificielle et le prompting, vous pouvez me retrouvez sur Linkedin.
J’y publie régulièrement des posts sur l’actualité pertinente de l’IA, les méthodes de prompting et l’Intelligence Artificielle.
La suite se passe ici : Visiter mon profil Linkedin
Un dernier mot, si tu veux aller plus loin et apprendre le Deep Learning - j’ai préparé pour toi le Plan d’action pour Maîtriser les Réseaux de neurones.
7 jours de conseils gratuits d’un ingénieur spécialisé en Intelligence Artificielle pour apprendre à maîtriser les réseaux de neurones à partir de zéro :
- Planifie ton apprentissage
- Structure tes projets
- Développe tes algorithmes d’Intelligence Artificielle
J’ai basé ce programme sur des faits scientifiques, des approches éprouvées par des chercheurs mais également mes propres techniques que j'ai conçues au fil de mes expériences dans le domaine du Deep Learning.
Pour y accéder, clique ici :
