PRÉSENTATION
OLMo 2 32B est le premier modèle d’intelligence artificielle entièrement open-source (données, code, poids libres) à surpasser GPT-3.5-Turbo et GPT-4o mini sur des benchmarks académiques. Entraîné sur 6T de tokens avec une méthode économe en ressources, il nécessite 67% moins de coûts que Qwen 2.5 32B pour des performances comparables. Intégrant le RLVR (Reinforcement Learning with Verifiable Rewards), il optimise son raisonnement via des récompenses vérifiables, notamment en mathématiques et logique. Son architecture OLMo-core permet une parallélisation 4D+, une gestion asynchrone des checkpoints et une compatibilité avec des infrastructures cloud modernes (Google Cloud), atteignant 1800 tokens/seconde/GPU.
OLMo 2 32B incarne l’ouverture scientifique : ses données (OLMo-Mix-1124, Dolmino), ses phases d’entraînement (prétraining, midtraining, posttraining) et ses checkpoints sont publics. Disponible sur Hugging Face et vLLM, il permet un finetuning personnalisé sur un seul nœud H100, idéal pour les PME et chercheurs. Malgré des coûts réduits, il rivalise avec Llama 3.1 70B ou Mistral 24B, tout en facilitant l’étude des biais et dynamiques d’apprentissage. Une avancée majeure pour une IA éthique, collaborative et haute performance.
Ne laissez pas l’IA vous dépasser.
Restez à jour sur l’intelligence artificielle.
Découvrez toutes les actualités et les meilleurs outils en avant-première.
Transparence totale
OLMo 2 32B offre une architecture 100% open-source : données d’entraînement (6T tokens), code, et modèles sont accessibles. Cette transparence permet aux chercheurs d’étudier finement l’impact des données et des phases d’entraînement, favorisant une IA reproductible et collaborative.
Optimisation RLVR
Intégrant le Reinforcement Learning with Verifiable Rewards, OLMo 2 32B améliore ses réponses via GRPO. Cette méthode renforce la précision sur des tâches complexes (maths, raisonnement) tout en publiant des checkpoints intermédiaires pour la recherche.
Scalabilité économique
Avec OLMo-core, son framework optimisé, le modèle réduit les coûts d’entraînement (-67% vs Qwen 2.5 32B) et supporte la parallélisation 4D+. Compatible Hugging Face, il s’exécute sur un seul nœud H100, accessible aux PME.
LES POUR :
-
Données, code et modèles librement réutilisables
-
Devance GPT-3.5 et approche GPT-4o mini.
-
Entraînement 3x moins cher que Qwen 2.5 32B.
-
Compatible finetuning sur un seul GPU H100.
LES CONTRES :
-
Expertise technique requise
-
Données "unseen" non testées