Architecture
En ingénierie des données, le Data Mesh s’impose comme un changement de paradigme face aux limites des entrepôts de données et data lakes traditionnels. Il ne s’agit plus simplement de stocker ou de centraliser, mais de concevoir une architecture de données distribuée, orientée domaine, pour une gestion des données plus agile et évolutive.
Les Data Products sont dont conçus, développés et maintenus en fonctions des besoins spécifiques de leur domaine, conformément aux principes fondamentaux de l’approche Data Mesh.
Les principes fondamentaux de cette architecture data, de sa conception à son exécution.
Le Data Mesh repose sur une architecture data où chaque domaine métier devient responsable de ses propres data products, contribuant ainsi à une gouvernance décentralisée efficace. Contrairement aux modèles centralisés où la plateforme décisionnelle repose sur un unique entrepôt de données, ici, la donnée est traitée comme un produit, exploitable directement par ceux qui en ont la responsabilité fonctionnelle.
- Les données sont l’actif principal : Toute décision concernant la conception et l’architecture doit être prise en fonction des données qui sont traitées comme des produits. Elles ne sont plus une ressource cachée, mais un produit concret avec une propriété claire et des règles d’accessibilité précises.
- La gouvernance des donnée est décentralisée : Les propriétés et le contrôle des données sont distribués parmi différents domaines et les équipes en charge de ces domaines. Les équipes de domaine sont responsables de la qualité, de l’accessibilité et de la compréhension des données, garantissant ainsi que les données sont entre les mains de ceux qui les connaissent le mieux !
- La conception pilotée par le domaine, Domain Driven Design, est par nature adaptée à ce type d’architecture. Le développement piloté par des composants autonomes et réutilisables, Component-Driven Developement, fournit la modularité nécessaire pour la mettre en oeuvre. Dans un data mesh, ces composants correspondent à des pipelines de données, des traitements ou des systèmes de delivery des données spécifiques aux domaines.
- L’intéropérabilité des données : Un schéma de données commun favorise un échange fluide des données entre les différents systèmes.
- Une architecture basée sur les événements : L’échange de données s’effectue en temps réel au fur et à mesure que les événements se produisent.
- La sécurité des données : La protection des données est réalisée via grâce à des mesures telles que le contrôle des d’accès et le chiffrement.
- La scalabilité et résilience : l’architecture est conçue nativement pour gérer de grands volumes de données et résister aux défaillances.
Les avantages d’une architecture Data Mesh
- Scalabilité : Le Data Mesh est conçu pour supporter la croissance des volumes, des domaines et des usages, sans réécrire l’architecture BI.
- Flexibilité : L’approche est compatible avec les environnements hybrides (on-premise / plateformes BI cloud) et prend en charge des protocoles hétérogènes.
- Sécurité : Une gouvernance par domaine renforcée par des contrôles d’accès adaptés aux nouveaux standards de gestion des données critiques.
- Résilience : Contrairement aux data lakes monolithiques, l’architecture distribuée résiste mieux aux pannes et évolue par composants.
Pourquoi faire le choix d’une architecture Data Mesh plutôt qu’un entrepôt de données classique ?
Les modèles traditionnels basés sur un unique entrepôt de données ou un data lake centralisé ne suffisent plus à répondre aux exigences de la modernisation BI. En répartissant les responsabilités de la gestion des données entre les domaines métiers, le Data Mesh permet de concevoir une architecture BI réellement scalable et résiliente, compatible avec les plateformes BI Cloud et les nouveaux modèles décisionnels distribués.
Le Data Mesh n’est pas qu’un simple buzz word mais bien un changement de paradigme en ingénierie des données qui s’appuie sur des changement majeurs : la donnée est considérée comme un produit accessible, l’infrastructure est en en libre-service, une plateforme de données as a product et une gouvernance axée sur des domaines spécifiques propriétaires.
Comment concevoir votre Data Mesh via le Domain Driven Design (DDD) et le Composant Driven Developement (CDD) ?
La première étape consiste à identifier et délimiter vos différents domaines via le domain driven design (DDD). Cela permet de se concentrer sur le périmètre précis de chaque domaine, les relations entre eux, les processus associés, etc. Dès lors, vous avez la base de vos Data Products ! Reste à cartographier votre « paysage » de données, c’est à dire comment le domaine consomme les données, comment elles circulent, qui les exploitent, à quoi elles servent et quelles sont leurs valeurs ajoutées. Une fois le paysage posé, vous devez définir clairement votre domaine et ses limites en vous concentrant sur les données spécifiques à ce domaine en particulier et les processus associés, c’est ce qui va permettre de définir les responsabilités de chacun, puis d’attribuer la propriété des data products. C’est le principe même du data-mesh, responsabiliser les équipes les plus à même de comprendre leurs données et de gérer leur domaine !
Une fois vos « produits de données » définis, le composant-driven developement vous permet de réaliser votre architecture en décomposant votre domaine en petits composants indépendants, autonomes, faciles à gérer et réutilisables. Chaque composant est associé à une tache spécifique comme l’ingestion, la transformation, le stockage ou encore la livraison des données. Ils sont développés, testés et déployés de manière indépendante.
Il ne vous reste plus qu’à assembler votre data-mesh ! Chaque composant interagit avec les autres pour former un système cohérent avec des protocoles de communication normalisés et des APIs pour garantir l’intéropérabilité entre les composants.
Vous souhaitez moderniser votre architecture de données ou migrer vers une plateforme BI Cloud plus agile et distribuée ?
Faites appel à Smartpoint, l’ESN experte en architecture BI et Data, pour construire une stratégie Data Mesh adaptée à vos enjeux métier.
LAISSEZ-NOUS UN MESSAGE
Les champs obligatoires sont indiqués avec *.
Pour aller plus loin :
Évaluation Smartpoint
Note : 4,8 / 5
Le Data Mesh est aujourd’hui l’une des architectures les plus prometteuses pour structurer des systèmes data scalables, autonomes et gouvernés à l’échelle. Son adoption demande rigueur et accompagnement, mais le retour sur investissement est élevé pour les grandes entreprises.
