Red Hat  lance Open Data Hub , une plate-forme d'intelligence artificielle dans le cloud hybride, qui a pour but d’aider à développer et à soutenir les projets de données et d’IA/ML open source, à l’image de Kubeflow ou KServe.

Red hat, Open Data Hub et Kubeflow

Open Data Hub a débuté sous la forme d’un simple opérateur dédié au déploiement de logiciels d’IA/ML et de données sur les clusters Red Hat OpenShift avec un certain degré d’intégration mutuelle. Néanmoins, lorsque Red Hat a commencé à rencontrer des obstacles liés à la prise en charge, l’entreprise s’est tournée vers Kubeflow – un nouveau projet dont l’objectif principal consiste à simplifier et à mettre à l’échelle les déploiements de charges de travail de Machine Learning sur Kubernetes. En réécrivant Open Data Hub sur le code Kubeflow, les équipes ont été en mesure de créer une nouvelle matrice de prise en charge des fonctionnalités. Ces dernières années, Red Hat a décidé de s’impliquer davantage au sein de la communauté Kubeflow, non seulement dans le but de contribuer à la création de code, mais également pour aider la communauté à atteindre des degrés de maturité et d’adoption par les utilisateurs supérieurs. Voici une vue d’ensemble du travail réalisé jusqu’à ce jour par Red Hat au sein de la communauté Kubeflow.

Lancement de Kubeflow 1.9

Après avoir rejoint la communauté Kubeflow, Ricardo Martinelli, ingénieur logiciel senior chez Red Hat, s’est porté volontaire pour travailler en tant que manager sur le lancement de Kubeflow 1.9, en collaboration avec d’autres contributeurs Kubeflow, dans le but d’établir la feuille de route de cette opération de lancement. En conséquence, Red Hat a contribué à l’ajout de plusieurs fonctionnalités pour Kubeflow 1.9.

Un registre de modèles

Le registre de modèles, une fonctionnalité en vogue, est devenu l’une des principales contributions de Red Hat à Kubeflow 1.9. Il s’intègre avec les pipelines et les composants fonctionnels de Kubeflow afin de créer un catalogue d’artefacts, qui rassemble des modèles, des ensembles de données, des indicateurs et bien plus encore, tout en permettant de déployer les modèles à partir du stockage des artefacts. D’autres fonctionnalités essentielles du registre de modèles incluent le déploiement d’un chart opérateur/Helm, le contrôle d’accès basé sur les rôles (RBAC), le multi-client et bien d’autres. Afin de fournir un support pour cette nouvelle fonctionnalité de registre de modèles, la communauté Kubeflow a créé un nouveau groupe de travail.

Les pipelines Kubeflow

Red Hat a également commencé à contribuer au projet Kubeflow Pipelines 2.0 en facilitant la mise à niveau des pipelines vers Argo Workflows 3.4, ce qui permet de résoudre les problèmes liés à la sécurité et aux licences MinIO, tout en améliorant les performances de développement au sein des implémentations Argo et Tekton.

KServe

KServe est un projet autonome issu de Kubeflow Incubation. La communauté KServe travaille en étroite collaboration avec la communauté Kubeflow au sein du groupe de travail fonctionnel Kubeflow afin d’intégrer KServe avec Kubeflow tout en développant une communauté KServe qui s’agrandit rapidement et en encourageant la création de fonctionnalités innovantes. Red Hat travaille main dans la main avec d’autres membres de la communauté afin de mener ces efforts dans divers domaines, y compris en ajoutant des environnements d’exécution originaux HuggingFace et vLLM, en ajoutant un environnement de « runtime explicatif enfichable », des améliorations et des correctifs au mode RawDeployment, tout en optimisant les CRD KServe très volumineux, en renforçant la sécurité, en améliorant le processus de lancement et bien davantage. Edgar Hernandez Garcia, Jooho Lee, Filippe Spolti et Yuan Tang comptent parmi les principaux contributeurs KServe chez Red Hat. Yuan Tang et Edgar Hernandez Garcia ont d’ailleurs été récemment promus au poste de reviewers de KServe.

Quel avenir pour Kubeflow ?

En collaboration avec d’autres membres de la communauté, Red Hat s’efforce de développer Kubeflow afin que ce projet soit certifié par la Cloud Native Computing Foundation (CNCF). Certaines conditions pour y parvenir impliquent de repenser la documentation Kubeflow afin de remplir les critères de certification CNCF, ce qui a étendu le travail à d’autres domaines, notamment la sécurité et les politiques de protocoles Internet (IP).

Les équipes en charge de la sécurité produits et de l’”open source program office” (OSPO) de Red Hat travaillent avec la communauté Kubeflow à résoudre des questions liées aux processus en cas de vulnérabilité décelée au sein des composants Kubeflow. Sean Pryor mène ce projet dans le but d’empêcher la publication d’images Kubeflow avec des CVE non gérées en proposant de se servir de scanners de sécurité et de mettre en place un flux de travail dédié pour résoudre ces problèmes de sécurisation. Owen Watkins, membre de l’équipe qui supervise la sécurité des produits chez Red Hat, œuvre à la mise en place de lignes directrices destinées à encadrer les actions à effectuer en cas de rapport faisant état d’une faille de sécurité.

Red Hat contribue également à Kubeflow dans le domaine de la gouvernance. Yuan Tang, principal ingénieur logiciel chez Red Hat, a été élu membre du Kubeflow Steering Committee (KSC), l’organisme de gouvernance principal de Kubeflow. M. Tang est à l’origine de nombreux projets open source populaires, y compris Argo et KServe, qu’il contribue également à maintenir. Au cours des six dernières années, il a travaillé en tant que tech lead sur de nombreux sous-projets Kubeflow. Ses contributions ont permis de renforcer la confiance de la communauté Kubeflow dans ses compétences techniques et son leadership et il a aidé à piloter les différents sujets qui ont fait surface lorsque Kubeflow a entamé le processus de certification par la CNCF. 

Depuis les premières contributions de Red Hat au projet Kubeflow, l’entreprise a toujours su que l’idée d’une « distribution certifiée » constituerait une thématique essentielle et, grâce au nouveau comité de pilotage et à la mise en œuvre du processus de certification par la CNCF, Kubeflow pourrait revoir ses plans afin de créer un test de conformité dans le but de certifier les Distributions Kubeflow.

Il reste encore du travail à accomplir pour obtenir la certification de Kubeflow par la CNCF et Red Hat s’engage à redoubler d’efforts pour y parvenir.

Site : opendatahub.io