Outils Data
Vous souhaitez moderniser votre système Data legacy (ou système hérité) et vous vous demandez quelle plateforme choisir ? Et vous avez en effet le choix !
1. AMAZON WEB SERVICES (AWS)
Evolutive et flexible, elle permet de traiter une grand variété de données et propose de nombreux services tels que Amazon S3, Amazon EMR, Amazon Redshift, Amazon Athena, et Amazon QuickSight.
2. MICROSOFT AZURE CLOUD
Autre alternative très populaire parmi nos clients ! Elle offre aussi de nombreuse solutions telles que Azure Blob Storage, Azure HDInsight, Azure Data Factory et Azure Machine Learning.
3. SNOWFLAKE
C’est une vraie alternative aux SCP (services cloud providers) proposés par Microsoft, Amazon ou Google avec son architecture de données unique et évolutive. Elle offre aussi de nombreux outils tels que Snowflake Cloud Data Warehouse, Snowflake Data Exchange, et Snowflake Data Marketplace
Et entre Databricks et Snowflake ? Quelle solutions data choisir ?
La force principale de Databricks est sa puissance de traitement. Les fonctionnalités Core de Spark sont intégrées et sont idéales pour tous chargements ETL. Le stockage se fait dans un data lakehouse, comme un datalake mais avec la fonctionnalité d’une base de données relationnelle en plus. Il s’agit donc essentiellement d’un datalake, mais vous pouvez exécuter SQL dessus, ce qui est un sacré avantage !
Nous vous invitons à considérer Databricks si vous n’avez pas d’outil ETL existant ou si vos données nécessitent un nettoyage intensif avec des sources de données et des schémas imprévisibles. La technologie d’ingestion “schema on read” ou “schemaless” est un vrai plus pour la passage à l’échelle de vos données.
Snowflake est un cloud-based datawarehouse as a service. Il fournit un service ELT principalement par le biais de la commande « COPY », des schémas dédiés et des fichiers de données (colonnes de métadonnées). Il vous permet de lancer plusieurs clusters de calcul indépendants qui peuvent opérer sur les données simultanément à partir d’une seule copie des données. En termes d’ingénierie des données, ils suivent la méthode ELT. Néanmoins, ils offrent une bonne prise en charge des outils ETL tiers tels que Talend ou Fivetran. Vous pouvez même installer DBT.
Vous n’avez plus à vous préoccuper du chargement de vos données dans Snowflake que si vous disposez d’un outil ETL existant tel que Tibco, Fivetran, Talend, etc. Toute l’infrastructure de votre base de données (partitionnement, scalabilité, index, etc.) est gérée à votre place.
ET LES ALTERNATIVES EN OPEN SOURCE ?
SPARK bien-sûr 🤩 Mais chez Smartpoint, nous sommes aussi particulièrement fans de la suite Elastic Stack pour la recherche et l’analyse de données. Vous y retrouvez des outils comme le désormais très populaire Elastic Search, Beast pour la collecte de données, Logstash pour le traitement et Kibana pour la dataviz.
| DATA CLOUD PAFORMS | TARIFS | FONCTIONNALITÉS |
| AWS | AWS propose une tarification « pay-as-you-go », C’est à dire vous payez uniquement pour les services que vous utilisez. | AWS, c’est un ensemble de fonctionnalités pour le stockage, le calcul, les BDD, le ML l’analyse et la mise en sécurité. C’est également des outils de développement comme CodeCommit, CodeBuild et CodeDeploy. |
| Azure | Azure propose aussi des tarifs pay-as-you-go, dégressifs dans le temps comme AWS. | Azure offre des fonctionnalités de stockage, de calcul, de BDD, de machine learning, d’analyse et la mise en sécurité. C’est également des outils de développement comme Visual Studio et Visual Studio Code. |
| Snowflake | Snowflake propose une tarification basée sur l’utilisation. Vous payez en fonction de la quantité de données stockées et de la quantité de traitement que vous consommez. Les tarifs sont variables en fonction du niveau de service utilisé. | Snowflake offre des services de stockage, de traitement et de requête de données, d’analyse de données en temps réel et de mise en conformité règlementaire des données. Snowflake permet également de s’intégrer avec des outils de business intelligence comme Power BI et Tableau. |
Evidemment, votre choix de plateforme dépend de vos spécificités, de la volumétrie, des use cases… et des compétences techniques que vous avez !
N’hésitez pas à nous interroger ici : nous contacter.
Pour aller plus loin sur comment choisir la bonne solution data pour votre entreprise et moderniser votre SID vieillissant ?
