HPE mise sur la data science
mer, 22/11/2023 - 17:01
HPE est connu pour les solutions d’infrastructures et les serveurs. Mais la partie logicielle est trop souvent oubliée. Aujourd’hui, le constructeur relève le défi de l’IA et de la data science avec une offre logicielle et matérielle très complète, qui va intéresser les développeurs. Il y a quelques semaines, une journée dédiée fut organisée à Paris.
L’idée de cette journée Data Science était de faire un point sur l’offre HPE et les avantages, puis les défis que pose l’IA sur les infrastructures et les entreprises. Des ateliers étaient proposés en fin de matinée pour prendre en main les différents environnements.
Pour HPE, la donnée et l’IA sont des éléments pris en compte depuis plus de 10 ans :
- Introduction des serveurs Apollo en 2014
- Rachat de SGI, bluedata, Mapr, Cray, Determined AI, Ampool entre 2016 et 2021
- Rachat de Pachyderm en 2023
Bref, HPE s’est taillé une expertise niveau 300 sur le matériel (notamment avec SGI et Cray, des références dans les stations de travail). Pour HPE, l’idée est de passer de l’hyperscale à l’exascale. Cela signifie une puissance de calculs et de traitements démultipliée. Une partie de l’offre du constructeur tourne autour de Greenlake pour LLM. Rappelons que les LLM sont la base de l’IA générative et toutes les IA actuelles. Ce sont d’énormes volumes de données permettant d’entrainer les modèles.
HPE a mis en place Greenlake pour LLM avec Aleph Alpha comme premier partenaire. Cela a permis de concevoir des apps dédiées à l’industrie. HPE fournit les supercalculteurs Cray, mise en service fin de l’année 2023 en Amérique du Nord et en Europe, dans les premiers mois de 2024. Parmi les usages : simulation climatique, santé, finance, transport.
Greenlake pour LLM concerne aussi bien le cloud public qu’une offre on-premise dédié.
Une des difficultés de l’écosystème IA / Machine learning est l’offre extrêmement variée : plusieurs centaines de solutions et d’acteurs dont le compute, les modèles, l’analytique, l’IA, les ETL, etc. HPE veut aider à construire une infrastructure claire et compréhensible pour proposer l’ensemble des couches matérielles et logicielles. L’autre difficulté est de pouvoir s’appuyer sur des formats et des standards. L’AI Infrastructure Alliance a pour mission de définir ces standards avec l’appui de plus de 30 constructeurs et éditeurs.
Que propose concrètement HPE ? Comme dit plus haut, HPE a l’avantage d’être constructeur et éditeur. Il peut proposer des offres packagées par usage et secteur d’activité (santé, finance, gouvernement, industrie, etc.). Ces offres s’adressent aux responsables d’infrastructure, aux développeurs, aux data scientists et aux équipes métiers.
Pour la partie purement IA et ML, HPE s’appuie sur les différents rachats et son expertise en DevOps pour propose une toolchain complète : du code à la production en passant par les données et tous les aspects de CI/CD, d’IaC ou encore de monitoring. Ainsi, on dispose d’une chaine complète pour développement des modèles et des apps de machine learning.
Côté entreprise, le machine learning va se traduire par 3 éléments essentiels :
- Flexibilité
- Montée en charge et disponibilité
- Reproductibilité pour les développeurs et pour les utilisateurs
HPE est ouvert aux principales solutions du marché :
- Dans les données
- Dans le développement
- Dans le déploiement
HPE propose une plateforme de machine learning autour de 3 piliers :
- Machine learning data
- Machine learning develpment
- KServe pour le déploiement et le monitoring
Le tout s’appuie sur un système de fichiers distribués et un stockage objet. L’infrastructure bas niveau utilise Greenlake en cloud ou on-premise.
Pachyderm fut un des outils vedettes de la matinée. Le modèle de développement est centré sur Python. La 2.7 est la dernière version disponible. L’outil veut simplifier le développement des flux de machine learning. Il s’intègre à la plateforme développement machine learning du constructeur.