Granite 3.0 : les nouveaux LLM d'IBM arrivent

Par:
francoistonic

mar, 22/10/2024 - 16:28

IBM n'est pas forcément le plus actif dans l'IA mais le géant technologique n'est pas inactif. La preuve, il vient de sortir Granite 3.0. Granite est la famille de LLM d'IBM. 

Granite 3.0 d'IBM comprend :

  • Des modèles à usage général & de langage : Granite 3.0 8B-Instruct, Granite 3.0 2B-Instruct, Granite 3.0 8B Base, Granite 3.0 2B Base
  • Des modèles garde-fous orientés sécurité : Granite Guardian 3.0 8B, Granite Guardian 3.0 2B
  • Des modèles « Mixture-of-Experts » : Granite 3.0 3B-A800M Instruct, Granite 3.0 1B-A400M Instruct, Granite 3.0 3B-A800M Base, Granite 3.0 1B-A400M Base

Granite 3.0 8B et 2B sont conçus pour l'IA d'entreprise et supportent de nombreuses des tâches telles que le Retrieval Augmented Geneneration (RAG), la classification, la synthèse, l'extraction d'entités et l'utilisation d'outils. Ces modèles compacts et polyvalents sont conçus pour être affinés avec les données de l'entreprise et intégrés de manière transparente dans divers environnements ou processus.

Les modèles Granite 3.0 ont été entraînés sur plus de 12 000 milliards de tokens sur des données provenant de 12 langages différents et de 116 langages de programmation différents, en utilisant une nouvelle méthode d'entraînement en deux étapes, tirant parti des résultats de plusieurs milliers d'expériences conçues pour optimiser la qualité et la sélection des données, ainsi que les paramètres d'entraînement. D'ici la fin de l'année, les modèles de langage 3.0 8B et 2B devraient inclure la prise en charge d’une fenêtre de contexte étendue à 128K et les capacités de compréhension de documents multimodaux.

Ces LLM sont disponibles sur HuggingFace sous licence Apache 2.0. 

Docker a annoncé que plusieurs LLM Granite sont aussi disponibles sur Docker Hub. Docker met en avant :

  • Déploiement simplifié : Récupérez l'image Granite depuis Docker Hub et lancez-la en quelques minutes.
  • Scalabilité : Docker offre une méthode légère et efficace pour faire évoluer des applications d'intelligence artificielle et d'apprentissage automatique (IA/ML). Il vous permet d'exécuter plusieurs conteneurs sur une seule machine ou de les distribuer sur différentes machines dans un cluster, permettant ainsi une scalabilité horizontale.
  • Flexibilité : Personnalisez et étendez le modèle pour répondre à vos besoins spécifiques sans vous soucier de l'infrastructure sous-jacente.
  • Portabilité : En créant une fois les images Docker et en les déployant partout, vous éliminez les problèmes de compatibilité et réduisez le besoin de configurations.
  • Support communautaire : Profitez du vaste réseau des communautés Docker et IBM pour obtenir du support, des extensions et des collaborations

Annonce : https://www.docker.com/blog/announcing-ibm-granite-ai-models-now-available-on-docker-hub/