Desafío
Datos de uso de la infraestructura con muy poca estructura para prever, hacerlos confiables y gobernarlos.
El grupo opera un amplio parque de máquinas virtuales. Su uso, en CPU, en GPU y en número de usuarios, se recopilaba en una plataforma heredada donde los datos seguían poco estructurados.
Esta situación afectaba tres temas.
- La previsión. Anticipar las necesidades de infraestructura requería datos de uso aprovechables a lo largo del tiempo.
- La calidad de los datos. Sin una estructura común, las cifras de uso eran difíciles de hacer confiables.
- La gobernanza. Los datos seguían siendo difíciles de documentar y controlar.
La necesidad: una plataforma de datos moderna y estructurada, con mejor desempeño y costos bajo control.
Solución
Auditar lo existente, diseñar la arquitectura objetivo y luego migrar.
Llevamos la migración desde la auditoría hasta la producción. Tres principios guiaron el trabajo.
- Partir de lo existente. Una auditoría de la plataforma Splunk en funcionamiento fijó el alcance, los usos a conservar y los límites a superar.
- Una arquitectura pensada para la analítica. Los datos de uso se integran en un almacén analítico en BigQuery, estructurado para la previsión y el control.
- Procesamientos industrializados. La orquestación con Dagster en GKE y los procesamientos con Spark hacen que la cadena sea confiable y reproducible.
Dispositivo
Auditoría, arquitectura objetivo, migración, puesta en producción.
- Auditoría. Análisis de la plataforma Splunk existente, de sus flujos y de sus usos.
- Arquitectura objetivo. Diseño de la plataforma en Google Cloud Platform: almacén analítico BigQuery, orquestación y procesamientos.
- Migración. Traslado de los datos de uso de CPU, GPU y usuarios al almacén analítico.
- Industrialización. Orquestación de los pipelines con Dagster en GKE y procesamientos con Spark.
- Puesta en producción. Cambio a la nueva plataforma y medición de costos y desempeño.
Siete meses de misión, de la auditoría a la puesta en producción. Entorno técnico: Splunk, Google Cloud Platform, BigQuery, Dagster, GKE, Spark.
Resultados
40% menos de costos de plataforma y un procesamiento 30% más rápido, en siete meses.
Los datos de uso de la infraestructura ahora están estructurados en un almacén analítico en Google Cloud. En producción, la nueva plataforma cuesta un 40% menos que la anterior y procesa los datos un 30% más rápido. Todo en siete meses, de la auditoría a la puesta en producción.
Dos efectos prolongan la migración.
- Una previsión sobre una base confiable. Las necesidades de infraestructura se anticipan a partir de datos de uso estructurados.
- Una base para la calidad y la gobernanza. Reunidos en un único almacén, los datos se controlan y documentan con mayor sencillez.
Expertises mobilisées
Savoir-faire
- Migración a la nube
- Arquitectura de datos
- Data warehouse
- Orquestación de pipelines
- Optimización de costos
Technologies
- Google Cloud Platform
- BigQuery
- Dagster
- GKE
- Spark
- Splunk
Sello
Cuatro mecanismos que marcan la diferencia.
- La auditoría antes de la arquitectura. La arquitectura objetivo se diseña a partir de los usos reales de la plataforma existente.
- Un almacén pensado para la analítica. BigQuery estructura los datos para la previsión, no solo para el almacenamiento.
- Pipelines orquestados. Dagster en GKE y Spark hacen que los procesamientos sean confiables y reproducibles.
- Beneficios medidos en producción. Los costos y el desempeño se constatan en la plataforma en servicio.
Para usted
Una plataforma de datos moderna, más rápida y menos costosa.
Este enfoque responde a cuatro situaciones.
- Su plataforma de datos heredada es costosa y ralentiza sus procesamientos.
- Sus datos se recopilan, pero están demasiado poco estructurados para el análisis y la previsión.
- Usted prepara una migración a la nube y quiere controlar su alcance.
- Usted debe reforzar la calidad y la gobernanza de sus datos.
Auditamos lo existente, diseñamos la arquitectura objetivo y llevamos la migración hasta la producción, con beneficios medidos.
