Problématique
Des données d'usage de l'infrastructure trop peu structurées pour prévoir, fiabiliser et gouverner.
Le groupe exploite un large parc de machines virtuelles. Leur usage, en CPU, en GPU et en nombre d'utilisateurs, était collecté sur une plateforme historique où les données restaient peu structurées.
Cette situation pesait sur trois sujets.
- La prévision. Anticiper les besoins d'infrastructure supposait des données d'usage exploitables dans la durée.
- La qualité des données. Sans structure commune, les chiffres d'usage étaient difficiles à fiabiliser.
- La gouvernance. Les données restaient difficiles à documenter et à contrôler.
Le besoin : une plateforme data moderne et structurée, plus performante et maîtrisée en coûts.
Solution
Auditer l'existant, concevoir la cible, puis migrer.
Nous avons mené la migration de l'audit à la production. Trois principes ont guidé le travail.
- Partir de l'existant. Un audit de la plateforme Splunk en place a fixé le périmètre, les usages à conserver et les limites à lever.
- Une architecture pensée pour l'analytique. Les données d'usage rejoignent un entrepôt analytique sur BigQuery, structuré pour la prévision et le contrôle.
- Des traitements industrialisés. L'orchestration Dagster sur GKE et les traitements Spark rendent la chaîne fiable et reproductible.
Dispositif
Audit, architecture cible, migration, mise en production.
- Audit. Analyse de la plateforme Splunk existante, de ses flux et de ses usages.
- Architecture cible. Conception de la plateforme sur Google Cloud Platform : entrepôt analytique BigQuery, orchestration et traitements.
- Migration. Reprise des données d'usage CPU, GPU et utilisateurs dans l'entrepôt analytique.
- Industrialisation. Orchestration des pipelines avec Dagster sur GKE et traitements Spark.
- Mise en production. Bascule de la nouvelle plateforme et mesure des coûts et des performances.
Sept mois de mission, de l'audit à la mise en production. Environnement technique : Splunk, Google Cloud Platform, BigQuery, Dagster, GKE, Spark.
Résultats
40 % de coûts de plateforme en moins et un traitement 30 % plus rapide, en sept mois.
Les données d'usage de l'infrastructure sont désormais structurées dans un entrepôt analytique sur Google Cloud. En production, la nouvelle plateforme coûte 40 % de moins que l'ancienne et traite les données 30 % plus vite. Le tout en sept mois, de l'audit à la mise en production.
Deux effets prolongent la migration.
- Une prévision sur une base fiable. Les besoins d'infrastructure s'anticipent à partir de données d'usage structurées.
- Un socle pour la qualité et la gouvernance. Réunies dans un entrepôt unique, les données se contrôlent et se documentent plus simplement.
Expertises mobilisées
Savoir-faire
- Migration cloud
- Architecture data
- Data warehouse
- Orchestration de pipelines
- Optimisation des coûts
Technologies
- Google Cloud Platform
- BigQuery
- Dagster
- GKE
- Spark
- Splunk
Signature
Quatre mécaniques qui font la différence.
- L'audit avant l'architecture. La cible est conçue à partir des usages réels de la plateforme existante.
- Un entrepôt pensé pour l'analytique. BigQuery structure les données pour la prévision, pas seulement pour le stockage.
- Des pipelines orchestrés. Dagster sur GKE et Spark rendent les traitements fiables et reproductibles.
- Des gains mesurés en production. Coûts et performances sont constatés sur la plateforme en service.
Pour vous
Une plateforme data moderne, plus rapide et moins coûteuse.
Ce dispositif répond à quatre situations.
- Votre plateforme data historique coûte cher et ralentit vos traitements.
- Vos données sont collectées mais trop peu structurées pour l'analyse et la prévision.
- Vous préparez une migration vers le cloud et voulez en maîtriser le périmètre.
- Vous devez renforcer la qualité et la gouvernance de vos données.
Nous auditons votre existant, concevons l'architecture cible et menons la migration jusqu'à la production, avec des gains mesurés.
