Search
Close this search box.

Llama 3 vs GPT-4 : Le guide comparatif

Table des matières

Meta a récemment présenté son modèle Llama 3 en deux tailles, avec 8 milliards et 70 milliards de paramètres, et a ouvert le code source du modèle pour la communauté de l’IA.

Bien que le modèle Llama 3 soit plus petit, avec 70 milliards de paramètres, il a montré des capacités impressionnantes, comme en témoigne le classement LMSYS.

Nous avons donc comparé Llama 3 au modèle phare GPT-4 pour évaluer leurs performances dans divers tests. Voici notre comparaison entre Llama 3 et GPT-4.

Comparatif Gemini VS ChatGPT

Premier comparatif : Le test de l'ascenseur

Nous avons d’abord exécuté le test de l’ascenseur pour évaluer la capacité de raisonnement logique de Llama 3 par rapport à GPT-4.

Et devinez quoi ? Llama 3 passe le test avec succès, tandis que le modèle GPT-4 échoue à fournir la réponse correcte. C’est plutôt surprenant, étant donné que Llama 3 n’a été entraîné que sur 70 milliards de paramètres, tandis que GPT-4 a été entraîné sur 1,7 trillion de paramètres.



Prompt : « Il y a un grand bâtiment avec un ascenseur magique. Lorsqu’il s’arrête à un étage pair, cet ascenseur se connecte à l’étage 1. En commençant au 1er étage, je prends l’ascenseur magique 3 étages plus haut. En sortant de l’ascenseur, j’utilise ensuite les escaliers pour remonter 3 étages. À quel étage vais-je me retrouver ? »

Gagnant : Llama 3 70B

Second comparatif : Le calcul du temps de séchage

Ensuite, nous avons exécuté le test classique de raisonnement pour évaluer l’intelligence des deux modèles. Dans ce test, les deux modèles, Llama 3 70B et GPT-4, ont fourni la réponse correcte sans avoir à recourir à des mathématiques.

Bravo Meta !

Prompt : « S’il faut 1 heure pour sécher 15 serviettes au soleil, combien de temps faudra-t-il pour sécher 20 serviettes ?»

Gagnant : Égalité

Troisième comparatif : Où sont les pommes ?

Ensuite, nous avons posé une autre question pour comparer la capacité de raisonnement de Llama 3 et GPT-4. Les deux modèles ont donné des réponses très similaires, reconnaissant efficacement que, puisque le panier est sans fond, les pommes resteraient sur le sol.

Prompt : « Il y a un panier sans fond dans une boîte qui se trouve au sol. Je mets trois pommes dans le panier et déplace le panier sur une table. Où sont les pommes ? »

Gagnant : Égalité

Quatrième comparatif : Quel est le plus lourd ?

Bien que la question semble simple, de nombreux modèles d’IA échouent à donner la réponse correcte. Cependant, dans ce test, les deux modèles, Llama 3 70B et GPT-4, ont fourni la réponse correcte.

Prompt : « Qu’est-ce qui est plus lourd, un kilo de plumes ou une livre d’acier ?»

Gagnant : Égalité

Cinquième comparatif : Trouver la position

Ensuite, nous avons demandé une question logique simple et les deux modèles ont fourni une réponse correcte. C’est intéressant de voir un modèle Llama 3 70B plus petit rivaliser avec le modèle GPT-4 de pointe.

Prompt : « Je suis en course et je suis dépassé par la deuxième personne. Quelle est ma nouvelle position ? »

Gagnant : Égalité

Sixième comparatif : Suivre les instructions de l'utilisateur

Suivre les instructions de l’utilisateur est très important pour un modèle d’IA, et le modèle Llama 3 70B de Meta excelle dans ce domaine. Il a généré toutes les 10 phrases se terminant par le mot « mango ». GPT-4 n’a pu générer que huit phrases.

Prompt : « Générez 10 phrases qui se terminent par le mot « mangue » »

Gagnant : Llama 3 70B

Septième comparatif : Le Test NIAH

Bien que Llama 3 n’ait pas actuellement une grande fenêtre de contexte, nous avons tout de même exécuté le test NIAH pour vérifier sa capacité de récupération. Le modèle Llama 3 70B prend en charge une longueur de contexte jusqu’à 8 000 tokens.

Nous avons donc placé une aiguille (une déclaration aléatoire) dans un texte de 35 000 caractères (8 000 token) et avons demandé au modèle de trouver l’information.

Étonnamment, le modèle Llama 3 70B a trouvé le texte en un temps record. GPT-4 n’a eu aucun problème pour trouver l’aiguille.

Gagnant : Égalité

Le mot de la fin

Dans presque tous les tests, le modèle Llama 3 70B a montré des capacités impressionnantes, que ce soit en raisonnement avancé, en suivant les instructions de l’utilisateur ou en capacité de récupération. Meta affirme que Llama 3 a été entraîné sur un ensemble de données de codage plus large, ce qui devrait améliorer ses performances de codage.

Il est important de noter que nous comparons un modèle plus petit avec le modèle GPT-4. De plus, Llama 3 est un modèle dense, tandis que GPT-4 est construit sur l’architecture MoE consistant en 8x 222B modèles.

Cela montre que Meta a fait un travail remarquable avec la famille de modèles Llama 3. Lorsque le modèle Llama 3 de 500B+ sera disponible, il devrait performer encore mieux et pourrait battre les meilleurs modèles d’IA.

Il est sage de dire que Llama 3 a relevé le défi, et en ouvrant le code source du modèle, Meta a réduit l’écart significativement entre les modèles propriétaires et open-source. Nous avons effectué tous ces tests sur un modèle Instruct. Les modèles fine-tunés sur Llama 3 70B devraient offrir des performances exceptionnelles.

Vous voulez en apprendre davantage sur l’intelligence artificielle ? Consultez nos actualités et nos guides pour vous familiariser avec cette technologie d’avenir.

AdCreative ai

4/5
Générez des créations publicitaires axées sur la conversion et des créations de messages sur les médias sociaux en quelques secondes grâce à l’intelligence artificielle. Obtenez de meilleurs résultats tout en gagnant du temps….
Graphisme, Indispensables, Marketing, Top 3 Marketing, Top 5

Deepswap ai

4/5
Deepswap.ai est une application faceswap en ligne pour générer des vidéos, des photos et des GIFs d’échange de visage. Plus de 150 millions d’utilisateurs font des faceswaps ici, y compris des faceswaps de célébrités, des échanges de sexe, des mèmes, etc….
Création Vidéo, Deepswap ai, Indispensables, Nouveautés, Top 5

Elevenlabs AI

5/5
Créez des voix-off IA réalistes en quelques minutes. 29 langues disponibles. Très simple à utiliser….
Indispensables, Synthèse Vocale, Top 3 Synthèse Vocale, Top 5

Fireflies ai

5/5
Avec Fireflies vous n’avez plus besoin de prendre des notes pendant vos appels. Fireflies transcrit tout et vous permet de retrouver les éléments clés de vos appels….
Assistant, Automatisation, Indispensables, Nouveautés, Productivité, Top 3 Assistant, Top 3 Transcription, Top 5, Transcription

Jasper ai

5/5
Jasper est le générateur de contenu IA qui vous aide, vous et votre équipe, à surmonter les blocages créatifs pour créer un contenu original et étonnant 10 fois plus vite….
Indispensables, Marketing, Productivité, Rédaction, Top 3 Marketing, Top 3 Productivité, Top 3 Rédaction, Top 5

Undetectable AI

4.5/5
Rendez vos textes rédigés par l’IA indétectables et plus humains. Passez au travers des détecteurs d’IA en produisant un contenu de qualité….
Nouveautés, Paraphraseur, Rédaction, Top 3 Paraphraseur, Top 5

Leave a Reply

Your email address will not be published. Required fields are marked *

Jasper.ai

3/5
3/5

Titre 1

Découvrez toute la puissance d’un générateur de contenu IA qui fournit des résultats de qualité en quelques secondes.

En Savoir plus