Red Hat annonce des évolutions pour Red Hat OpenShift AI, sa plate-forme hybride dédiée à l’intelligence artificielle (IA) et à l’apprentissage automatique (ML) basée sur Red Hat OpenShift, qui permet aux entreprises de créer et de mettre à disposition des applications alimentées par l’IA à grande échelle sur l’ensemble des clouds hybrides. 

Red Hat OpenShift AI 2.9, la dernière version de la plateforme, propose notamment :

• La mise à disposition de modèles en périphérie, qui permet d’étendre le déploiement des modèles d’IA aux emplacements distants à l’aide d’une configuration OpenShift à un seul nœud. Cela offre des capacités d’inférence au sein d’environnements limités en ressources dont l’accès au réseau demeure intermittent ou lacunaire. Cette fonctionnalité disponible en avant-première technologique donne aux entreprises la possibilité de profiter d’une expérience opérationnelle évolutive et cohérente depuis le cœur de réseau jusqu’en périphérie en passant par le cloud et s’accompagne de capacités d’observabilité immédiatement disponibles.

• Une distribution des modèles améliorée grâce à l’exploitation de multiples serveurs de modèles afin de soutenir l’IA prédictive et générative, incluant un support pour KServe, une définition des ressources Kubernetes sur mesure qui orchestre la distribution de tous types de modèles, un distributeur d’inférence de vLLM et de génération de texte, des moteurs de distribution pour les LLM et les environnements d’exécution Caikit-nlp-tgis, qui gèrent les modèles et les tâches de traitement du langage naturel (NLP). Cette distribution de modèles améliorée permet aux utilisateurs d’exécuter l’IA prédictive et générative sur une plateforme unique pour de nombreux cas d’usage, ce qui aide à réduire les coûts et à simplifier les opérations. Cela permet une distribution de modèles originale pour les LLM et simplifie les workflows utilisateurs correspondants.

• Des workloads distribués avec Ray, à l’aide de CodeFlare et KubeRay, permettant un traitement des données et un entraînement des modèles plus rapides et plus efficaces à l’aide de multiples nœuds de cluster. Ray offre un cadre pour l’accélération des workloads d’IA et KubeRay permet de gérer ces workloads sur Kubernetes. CodeFlare joue un rôle central dans les capacités de distribution des workloads de Red Hat OpenShift AI, en offrant un cadre facile d’utilisation qui permet de simplifier l’orchestration et le monitoring des tâches. La file d’attente centrale et les capacités de gestion offrent une exploitation optimale des nœuds et permettent d’allouer des ressources, comme le processeur graphique, aux workloads et aux utilisateurs les plus pertinents.

• Un développement des modèles amélioré grâce aux espaces de travail pour les projets et aux images de référence supplémentaires qui offrent aux data scientists un degré de flexibilité suffisant pour leur permettre d’exploiter des IDE et des boîtes à outils, y compris VS Code et RStudio, actuellement disponibles en avant-première, ou encore la version améliorée de CUDA, pour un vaste panel de cas d’usage et de types de modèles.

• Des visualisations pour le monitoring des modèles afin d’obtenir des indicateurs de performance et opérationnels, ce qui renforce l’observabilité des performances des modèles d’IA.

• De nouveaux profils d’accélérateurs permettent aux administrateurs de configurer différents types d’accélérateurs matériels pour les workflows de développement et de distribution des modèles. Cela permet aux utilisateurs d’accéder facilement et directement au type d’accélérateur adapté à un workload spécifique.