A l'occasion du Data + AI Summit, Databricks annonce le lancement d'un nouveau projet open source appelé Delta Sharing, un protocole ouvert du marché pour le partage sécurisé de données en temps réel entre entreprises, indépendamment de la plateforme sur laquelle les données résident. Delta Sharing fait partie du projet open source Delta Lake et bénéficie du soutien de Databricks et d’un large éventail de fournisseurs de données, dont Nasdaq, ICE, S&P, Precisely, Factset, Foursquare, SafeGraph, et d’éditeurs de logiciels tels qu’AWS, Google Cloud et Tableau. Ce cinquième projet open source majeur lancé par Databricks, après Apache Spark, Delta Lake, MLflow et Koalas, sera confié à la Fondation Linux.

« Aujourd’hui, le principal défi des fournisseurs de données est de rendre leurs données facilement et largement consommables. Gérer des dizaines de solutions de transfert de données pour atteindre toutes les plateformes utilisateurs est intenable. Une norme ouverte et interopérable pour le partage de données en temps réel va considérablement améliorer l’expérience à la fois des fournisseurs de données et des utilisateurs, » déclare Matei Zaharia, Chief Technologist et Co-fondateur de Databricks. « Delta Sharing va standardiser la façon dont les données sont échangées en toute sécurité entre les entreprises, indépendamment de la plateforme de stockage et de traitement qu’elles utilisent. Et nous sommes ravis de rendre cette innovation open source. »

S'appuyant sur Delta Lake 1.0 et bénéficiant d'un modèle de gouvernance neutre vis-à-vis des fournisseurs, soutenu par la Fondation Linux, Delta Sharing établit une norme commune pour le partage de tous types de données avec un protocole ouvert qui peut être utilisé dans SQL, les outils d'analyse visuelle et les langages de programmation tels que Python et R. Delta Sharing permet également aux entreprises de partager en temps réel, en toute transparence et sans les copier, des ensembles de données à grande échelle existants aux formats Apache Parquet et Delta Lake. Delta Sharing peut également être mis en œuvre dans les logiciels existants qui prennent en charge Parquet.

Delta Sharing offre des contrôles de sécurité intégrés et des autorisations faciles à gérer, qui garantissent la confidentialité et la conformité nécessaires au partage sécurisé des données entre les entreprises. Delta Sharing permet également aux entreprises de partager en toute confiance des données entre fournisseurs et partenaires, tout en donnant à chacune des équipes data la possibilité d'interroger, de visualiser et d'enrichir ces données partagées avec les outils de leur choix, tels qu’ Azure Purview, GCP Big Query, AtScale, Collibra, Dremio, Immuta, Looker, Privacera, Qlik, Power BI et Tableau.

Pour de plus amples informations sur Delta Sharing ou pour s’engager dans la communauté open source Delta Sharing : delta.io/sharing.