Lors de l’I/O 2024, Google a dévoilé sa nouvelle gamme de modèles Gemma 2, récemment mis à disposition sous licence open-source.
Le modèle Gemma 2 27B est présenté comme étant supérieur à plusieurs modèles plus grands comme Llama 3 70B et Qwen 1.5 32B.
Pour vérifier cette affirmation, nous avons comparé les performances de Gemma 2 et de Llama 3, deux des principaux modèles open-source du moment. Commençons cette analyse.
Présentation des deux modèles
- Gemma 2
Gemma 2 27B, le dernier-né de Google, se distingue par sa légèreté et son efficacité.
Il offre des capacités avancées en génération de texte, compréhension multilingue et gestion de grandes quantités de données avec une longueur de contexte allant jusqu’à 8 000 tokens.
Google, avec son historique de succès en génération de texte, continue de briller avec Gemma 2, offrant une prose de haute qualité et une excellente gestion des langues régionales.
- Llama 3
Llama 3 70B, développé par Meta, est un modèle open-source de grande envergure, connu pour sa robustesse en matière de raisonnement et de suivi des instructions.
Il gère efficacement de larges volumes de données textuelles, avec une longueur de contexte similaire à celle de Gemma 2.
Grâce à ses 70 milliards de paramètres, Llama 3 offre des performances remarquables, particulièrement en raisonnement et en précision.
Comparatif Gemma 2 VS Llama 3
Premier comparatif : La Création Littéraire
Pour évaluer leurs capacités créatives, nous avons demandé aux deux modèles d’écrire une histoire courte sur la relation entre la lune et le soleil.
Gemma 2 s’est démarqué avec une prose enchanteresse et captivante, tandis que Llama 3, bien qu’efficace, semblait un peu mécanique et moins inspiré.
Second comparatif : Le Test Multilingue
Nous avons testé les capacités multilingues des modèles en leur demandant de traduire un paragraphe en hindi, puis en bengali.
Les deux modèles ont bien réussi, démontrant une formation solide sur les langues régionales indiennes.
Troisième comparatif : Test de Raisonnement
Nous avons soumis les deux modèles à des tests de raisonnement de base.
Llama 3 a surpassé Gemma 2, répondant correctement à deux questions sur trois, alors que Gemma 2 a eu du mal à en obtenir une seule correcte.
Gagnant : Llama 3
Quatrième comparatif : Suivi des Instructions
Nous avons demandé aux modèles de générer 10 mots se terminant par « NPU ».
Llama 3 a réussi parfaitement avec 10/10, tandis que Gemma 2 n’a réussi qu’à générer 7 mots corrects.
Gagnant : Llama 3
Cinquième comparatif : Recherche de Texte
Pour ce test, nous avons inséré une déclaration aléatoire dans un long texte de « Pride and Prejudice ».
Les deux modèles ont trouvé rapidement la déclaration, démontrant de solides capacités de gestion de la mémoire à long terme.
Gagnant : Égalité
Sixième comparatif : Test d'Hallucination
Nous avons vérifié si les modèles fabriquaient des informations en leur fournissant un nom de pays inventé.
Les deux modèles ont bien réagi, ne produisant pas d’hallucinations, ce qui montre une formation rigoureuse pour rester factuels.
Gagnant : Égalité
Le mot de la fin
Bien que le modèle Gemma 2 27B n’ait pas brillé dans les tests de raisonnement, il excelle dans de nombreuses autres tâches.
Il est particulièrement performant en écriture créative, prend en charge de nombreuses langues, gère bien la mémoire et ne souffre pas d’hallucinations.
De son côté, Llama 3 est plus performant pour le suivi des instructions et le raisonnement, mais il est également beaucoup plus grand avec ses 70 milliards de paramètres. Les développeurs trouveront que Gemma 2 27B est utile pour de nombreux cas d’utilisation.
Pour les besoins d’utilisation directe sur des appareils comme les smartphones, tablettes ou ordinateurs personnels, où une connexion à des serveurs distants n’est pas nécessaire, le modèle Gemma 2 9B est également disponible.
Cette approche permet d’exécuter des tâches d’IA de manière rapide et efficace, tout en préservant la confidentialité des données.
Nous recommandons aussi aux utilisateurs d’explorer Gemini 1.5 Flash, un modèle plus petit, qui supporte les entrées multimodales et se montre extrêmement rapide et efficace.
Vous voulez en apprendre davantage sur l’intelligence artificielle ? Consultez nos actualités et nos guides pour vous familiariser avec cette technologie d’avenir.
