Jan 24, 2024
Une place de marché pour cataloguer les data products
Vous avez décidé de suivre la tendance ? Bravo ! C’est à dire de vous appuyer sur les utilisateurs métiers pour gérer et gouverner leurs données. Et vos propriétaires de données développent des data products, en négociation directe avec les consommateurs de ces mêmes données. Fantastique ! Selon plusieurs études, entre 50 et 70 % des entreprises seraient en train de planifier ou de déployer ce type d’architecture.
Généralement, lorsque je présente cette nouvelle organisation à des entreprises, cela soulève deux questions : celle du catalogage des data products, et celle du stockage des données.
Pour ce qui est du stockage, beaucoup de solutions ont émergé; on parle souvent de Snowflake ou de Databricks, mais également de Amazon Data Zone que je vous présentais la semaine dernière.
En ce qui concerne le catalogage des données, c’est plus compliqué.
Par définition, un catalogue de données catalogue … des données. Or là, ces données sont regroupées dans des jeux de données, ces fameux data products.
Comment un catalogue de données peut-il évoluer vers un catalogue de jeux de données. C’est ce que propose depuis cette semaine Zeenea. Zeenea est un éditeur français, qui propose à ses clients une gestion de catalogue de données.
Dans Zeenea, un Data Product est, je cite, “une collection de Jeux de Données de haute qualité et leurs métadonnées (propriétés, description, termes de glossaire liés, etc.), fournissant un contexte clair aux consommateurs de données”.
L’éditeur a choisi de créer un magasin de data products. A l’image d’un site de commerce électronique, les utilisateurs de données vont pouvoir consulter une “Enterprise Data Marketplace”, dans laquelle les producteurs de données auront déposé leurs data products. Vous pouvez donc dans Zeenea cataloguer vos données, et partager vos data products.
La solution est de plus basée sur un graphe de connaissance. Il permet aux utilisateurs de découvrir des données ou des data products, en suivant les liens. Les points essentiels tels que la gestion du cycle de vie, des politiques d’accès aux données, ou encore de la conformité des data products, sont pris en charge par la plateforme. A plus long terme, Zeenea envisage de décentraliser plus encore ses catalogues de données, en intégrant une forme de fédéralisation. Un catalogage géré par les utilisateurs, mais dans un cadre de gouvernance fédéral.
Alors, appelez cela data mesh, ou pas, mais clairement Zeenea va dans la bonne direction. Allez, juste une remarque, Zeenea devrait intégrer la notion de data contracts dans sa plateforme. Ce contrat, signé entre le producteur et le consommateur d’un data product, est justement la partie qui manque à la théorie du data mesh.