Chaque jour, de nouveaux modèles sont introduits dans le domaine de l’intelligence artificielle, et les changements s’accélèrent rapidement. Plus le temps passe, plus les possibilités semblent infinies. Parmi ces innovations, l’approche pratique de Microsoft a suscité notre intérêt. La société développe actuellement un système d’IA sophistiqué appelé JARVIS (clin d’œil à Iron Man), qui se connecte à plusieurs modèles d’IA pour fournir une réponse finale. Tout le monde peut actuellement visionner la démo de JARVIS sur Huggingface et voir ses capacités. Dans cet article, nous allons vous montrer comment utiliser Microsoft JARVIS.
Qu’est ce que c’est que Microsoft JARVIS ?
Microsoft a créé une sorte de nouvelle approche collaborative qui permet d’employer différents modèles d’IA pour accomplir une tâche particulière. Dans cette approche, c’est ChatGPT qui contrôle la tâche principale. Sur GitHub, le projet est connu sous le nom de JARVIS, et il est actuellement disponible sur Huggingface (d’où le nom HuggingGPT) pour que les utilisateurs puissent l’essayer.
Son fonctionnement est similaire à celui de GPT-4. Mais JARVIS va plus loin et incorpore de nombreux LLM open-source pour traiter les images, les vidéos, l’audio, etc. Parmi les possibilités de cet outil, celle d’accéder à des fichiers en ligne et de se connecter à l’internet est la plus intéressante.
Une requête peut contenir plusieurs tâches. Par exemple, vous pouvez demander à Jarvis d’analyser une image, puis de produire un résumé de ce qu’il a observé. Dans ce cas, ChatGPT évalue la requête et organise le travail en fonction de celle-ci. Le modèle approprié (hébergé sur Huggingface) est alors choisi par ChatGPT pour accomplir la tâche. Le modèle choisi accomplit la tâche et envoie le résultat à ChatGPT.
Jusqu’à 20 modèles sont connectés à JARVIS (HuggingGPT). Il peut donc être très utile si vous avez besoin de capacités multimodales immédiatement. Voici maintenant les instructions pour l’installer et l’utiliser. Attention, l’outil est sujet à beaucoup de demandes. Il peut donc prendre un peu de temps pour répondre à vos requêtes.
Comment installer Microsoft JARVIS (HuggingGPT) ?
Vous devez dans un premier temps obtenir les clés d’accès à Microsoft JARVIS.
- Étape 1: Allez sur le site d’OpenAI, connectez-vous à votre compte OpenAI, puis cliquez sur « Create new secret key » pour générer votre clé API OpenAI. Pour une utilisation ultérieure, stockez la clé dans un fichier note.
- Étape 3: Pour créer votre token Hugging Face, rendez-vous sur le site web suivant. Dans le volet de droite, sélectionnez « New token ».
- Étape 4: Vous devez maintenant trouver un nom pour votre token (nous avons saisi « jarvis » à titre d’exemple). Ensuite, changez le rôle en « Write » et appuyez sur « Generate a token« .
- Étape 5: Le token sera ensuite copié dans le presse-papiers après avoir cliqué sur le bouton « Copy« . Nous vous conseillons de le coller dans un fichier texte.
Comment utiliser Microsoft JARVIS (HuggingGPT) ?
- Étape 1: Cliquez sur ce lien et collez la clé API OpenAI dans le premier champ pour utiliser Microsoft JARVIS. Cliquez sur « Submit » lorsque vous avez terminé. Mettez le token Huggingface dans le deuxième champ de la même manière, puis cliquez sur « Submit ».
- Étape 2: Faites défiler vers le bas et saisissez votre requête après la validation des deux token. Pour commencer, nous avons demandé à Jarvis de nous donner une photo et une blague sur les chats.
- Étape 3: JARVIS a utilisé deux modèles d’IA pour la tâche. ChatGPT pour trouver la blague et runwaymt/stable-diffusion-v1-5 pour créer une image de chat. N’est-ce pas incroyable ?
- Étape 4 : Dans une autre illustration, nous lui avons demandé d’analyser une photo et de la décrire. Il a bien évidemment réussi cette tâche. Pour y arriver, il a utilisé 3 modèles différents. Un pour générer une description textuelle, un pour analyser l’image, et un pour répondre à la question. JARVIS dispose d’une large gamme d’applications, toutes disponibles gratuitement sur HuggingFace.
L’innovation de Microsoft Jarvis (HuggingGPT)
En utilisant plusieurs modèles d’IA, vous pouvez utiliser HuggingGPT pour exécuter une tâche multimodale. JARVIS s’est admirablement très bien comporté lors de nos tests répétés, bien qu’il faille souvent attendre pour obtenir une réponse. JARVIS ne peut pas être exécuté localement sur un PC classique, car il nécessite au moins 16 Go de VRAM et 300 Go d’espace de stockage pour les différentes versions.
Notez que vous ne pouvez pas copier un profil Huggingface et utiliser le compte gratuit pour éviter la file d’attente. L’exécution du modèle robuste sur un Nvidia A10G, un gros GPU qui coûte 3,15 $/heure, nécessite un abonnement.
C’est déjà la fin de cet article. Vous voulez en apprendre davantage sur l’intelligence artificielle ? Consultez nos actualités et nos guides pour vous familiariser avec cette technologie d’avenir.
