Le Data Cloud Snowflake a annoncé, lors de sa conférence annuelle Snowflake Summit 2023, de nouvelles innovations qui étendent la programmabilité des données pour les data scientists, les ingénieurs de données et les développeurs d'applications afin qu'ils puissent construire plus rapidement et plus efficacement dans le Data Cloud. 

Avec le lancement de Snowpark Container Services, Snowflake élargit la portée de Snowpark afin que les développeurs puissent débloquer des options d'infrastructure plus larges. Par exemple, l'accélération du calcul avec les GPU NVIDIA et les logiciels d'IA pour exécuter davantage de charges de travail au sein de la plateforme sécurisée et gouvernée de Snowflake sans complexité, y compris une gamme plus large de modèles d'IA et de Machine Learning, d'API, d'applications développées en interne, et plus encore. Grâce à Snowpark Container Services, les clients de Snowflake ont également accès à un vaste catalogue de logiciels et d'applications tiers, notamment des grands modèles de langage (LLM), des Notebooks, des outils MLOps, et bien plus encore, au sein de leur compte. En outre, Snowflake simplifie et étend la façon dont les utilisateurs développent, opérationnalisent et consomment les modèles de Machine Learning, en dévoilant de nouvelles innovations afin que davantage d'organisations puissent donner vie à leurs données et à leurs modèles ML. Ces avancées comprennent un ensemble de nouvelles API Machine Learning Snowpark pour un développement de modèles plus efficace, un registre de modèles Snowpark pour des MLOps évolutifs, Streamlit dans Snowflake pour transformer les modèles en applications interactives, et des capacités de streaming avancées.

"Les avancées de Snowflake révolutionnent la façon dont les clients construisent dans le Data Cloud, en permettant aux data scientists, aux ingénieurs de données et aux développeurs d'applications de bénéficier d'une programmabilité étendue et d'un large éventail de fonctionnalités. Ils bénéficient d'une programmabilité étendue et d'une large gamme de cas d'utilisation afin qu'ils puissent construire, tester et déployer tout ce qu'ils peuvent imaginer, sans compromis", déclare Christian Kleinerman, SVP of Product, Snowflake. "Nos investissements continus dans Snowpark, ainsi que nos capacités de Machine Learning et de streaming accélèrent la façon dont les utilisateurs mettent leurs données au travail, en débloquant de nouvelles façons de générer un impact à travers leurs organisations avec une flexibilité accrue."

Snowpark permet aux développeurs de bénéficier d'une plus grande programmabilité, sans compromis en matière de gouvernance ou de sécurité.

Snowpark continue d'assurer le déploiement et le traitement sécurisés du code non SQL de Snowflake avec divers runtimes et bibliothèques, élargissant ainsi les possibilités de construction et le champ d'application du Data Cloud. Il permet aux créateurs de travailler plus efficacement avec les données dans les langages de programmation et les outils de leur choix, tout en offrant aux entreprises les garanties d'automatisation, de gouvernance et de sécurité qui font défaut aux datalakes et aux environnements big data existants. Depuis son lancement en juin 2021, Snowpark a aidé les ingénieurs de données à migrer des pipelines et à les exécuter plus rapidement et plus efficacement, a permis aux data scientists de construire et d'entraîner des modèles, et a fait de Snowflake une plateforme puissante pour le développement d'applications.

Snowpark Container Services élargit encore le champ des charges de travail qui peuvent être apportées aux données des clients. Il offre aux utilisateurs la flexibilité de construire dans n'importe quel langage de programmation et de déployer sur des choix d'infrastructure plus larges, y compris la plateforme NVIDIA AI pour une accélération optimisée, avec la même facilité d'utilisation, l'évolutivité et la gouvernance unifiée de Snowflake Data Cloud. En outre, Snowpark Container Services peut être utilisé dans le cadre d'une Snowflake Native App, ce qui permet aux développeurs de distribuer des applications qui s'exécutent entièrement dans le compte Snowflake de leur client final. Snowpark Container Services permet également aux utilisateurs d'exécuter en toute sécurité des fournisseurs de modèles génératifs tiers de premier plan tels que Reka directement dans leur compte Snowflake, éliminant ainsi la nécessité d'exposer des données propriétaires afin d'accélérer l'innovation. 

Snowflake s'est associé à des dizaines de fournisseurs de logiciels et d'applications tiers pour proposer des produits globaux qui peuvent être exécutés dans le compte Snowflake du client final à l'aide de Snowpark Container Services. Par exemple, les clients peuvent utiliser les ordinateurs portables Hex pour l'analyse et la Data Science et aussi les plateformes d'IA et les fonctions de Machine Learning d'Alteryx, Dataiku et SAS pour exécuter des traitements d'IA et de ML plus avancés. Ils peuvent également gérer ces flux de données avec la plateforme d'Astronomer basée sur Apache Airflow - le tout entièrement au sein de Snowflake. Il ne s'agit là que de quelques exemples, car Amplitude, CARTO, H2O.ai, Kumo AI, Pinecone, RelationalAI, Weights & Biases et bien d'autres proposent également leurs produits et services avec Snowpark Container Services.

De plus, NVIDIA et Snowflake construisent des intégrations logicielles et informatiques accélérées transformatrices pour Snowpark Container Services. Cette collaboration apporte également NVIDIA AI Enterprise, le pilier logiciel de la plateforme NVIDIA AI, à Snowpark Container Services, ainsi que la prise en charge du calcul accéléré de NVIDIA. NVIDIA AI Enterprise comprend plus de 100 frameworks, des modèles pré-entraînés et des outils de développement comme PyTorch pour l'entraînement, NVIDIA RAPIDS pour la science des données et NVIDIA Triton Inference Server pour les déploiements d'IA en production. 

"Les données sont la base des applications d'IA générative personnalisées construites avec les exigences uniques des entreprises de tous les secteurs ", déclare Manuvir Das, VP Enterprise Computing chez NVIDIA. "L'intégration de Snowpark Container Service et de NVIDIA AI Enterprise apporte la suite complète de solutions d'IA de NVIDIA. de frameworks d'IA, de modèles pré-entraînés et d'outils de développement à la plateforme de données utilisée par des milliers d'entreprises dans le monde pour gérer les charges de travail les plus avancées d'aujourd'hui."

Snowflake aide à donner vie aux modèles de Machine Learning, améliore l'expérience des développeurs et étend les capacités de streaming.  

Afin de rationaliser et d'étendre les opérations de modèles de Machine Learning (MLOps), Snowflake annonce le nouveau Snowpark Model Registry, un référentiel unifié pour les modèles d'apprentissage automatique des entreprises. Le registre permet aux utilisateurs de centraliser la publication et la découverte des modèles, rationalisant ainsi la collaboration entre les scientifiques des données et les ingénieurs ML afin de déployer les modèles en production de manière transparente.  

Snowflake fait également progresser l'intégration de Streamlit dans Snowflake, permettant aux data scientists et autres développeurs Python d'accroître l'impact de leur travail en créant des applications qui comblent le fossé entre les données et l'action de l'entreprise. Avec Streamlit dans Snowflake, les créateurs peuvent utiliser Python pour développer leurs applications, transformant une idée en une application prête pour l'entreprise avec seulement quelques lignes de code, puis déployer et partager rapidement ces applications en toute sécurité dans le Data Cloud.  

En outre, Snowflake rend le développement au sein de sa plateforme unifiée plus facile et plus familier grâce à de nouvelles fonctionnalités, notamment l'intégration native de Git pour soutenir des flux de travail CI/CD transparents, et l'interface native en ligne de commande (CLI) pour un développement et des tests optimisés au sein de Snowflake. Les nouvelles innovations permettent également aux ingénieurs de données de travailler plus facilement et à moindre coût avec des données à faible latence, sans avoir à assembler des solutions ou à construire des pipelines de données supplémentaires. Snowflake élimine les frontières entre les pipelines de batch et de streaming avec Snowpipe Streaming et Dynamic Tables, offrant une solution simplifiée et rentable aux ingénieurs de données pour ingérer des données en streaming et construire facilement des pipelines déclaratifs complexes.