Desafio
Dados de uso da infraestrutura pouco estruturados para prever, dar confiabilidade e governar.
O grupo opera um amplo parque de máquinas virtuais. O uso dessas máquinas, em CPU, em GPU e em número de usuários, era coletado em uma plataforma legada onde os dados permaneciam pouco estruturados.
Essa situação pesava sobre três temas.
- A previsão. Antecipar as necessidades de infraestrutura exigia dados de uso exploráveis ao longo do tempo.
- A qualidade dos dados. Sem uma estrutura comum, era difícil dar confiabilidade aos números de uso.
- A governança. Os dados continuavam difíceis de documentar e de controlar.
A necessidade: uma plataforma de dados moderna e estruturada, com mais desempenho e custos sob controle.
Solução
Auditar o existente, desenhar a arquitetura-alvo e depois migrar.
Conduzimos a migração da auditoria até a produção. Três princípios guiaram o trabalho.
- Partir do existente. Uma auditoria da plataforma Splunk em uso definiu o escopo, os usos a manter e os limites a superar.
- Uma arquitetura pensada para analytics. Os dados de uso passam a um data warehouse analítico no BigQuery, estruturado para previsão e controle.
- Processamentos industrializados. A orquestração com Dagster no GKE e os processamentos em Spark tornam a cadeia confiável e reproduzível.
Formato
Auditoria, arquitetura-alvo, migração, entrada em produção.
- Auditoria. Análise da plataforma Splunk existente, de seus fluxos e de seus usos.
- Arquitetura-alvo. Desenho da plataforma no Google Cloud Platform: data warehouse analítico no BigQuery, orquestração e processamentos.
- Migração. Carga dos dados de uso de CPU, GPU e usuários no data warehouse analítico.
- Industrialização. Orquestração dos pipelines com Dagster no GKE e processamentos em Spark.
- Entrada em produção. Virada para a nova plataforma e medição dos custos e do desempenho.
Sete meses de projeto, da auditoria à entrada em produção. Ambiente técnico: Splunk, Google Cloud Platform, BigQuery, Dagster, GKE, Spark.
Resultados
40% menos custos de plataforma e um processamento 30% mais rápido, em sete meses.
Os dados de uso da infraestrutura agora estão estruturados em um data warehouse analítico no Google Cloud. Em produção, a nova plataforma custa 40% menos que a anterior e processa os dados 30% mais rápido. Tudo isso em sete meses, da auditoria à entrada em produção.
Dois efeitos dão continuidade à migração.
- Uma previsão sobre uma base confiável. As necessidades de infraestrutura são antecipadas a partir de dados de uso estruturados.
- Uma base para qualidade e governança. Reunidos em um único data warehouse, os dados são controlados e documentados com mais facilidade.
Expertises mobilisées
Savoir-faire
- Migração para a nuvem
- Arquitetura de dados
- Data warehouse
- Orquestração de pipelines
- Otimização de custos
Technologies
- Google Cloud Platform
- BigQuery
- Dagster
- GKE
- Spark
- Splunk
Diferencial
Quatro mecânicas que fazem a diferença.
- A auditoria antes da arquitetura. A arquitetura-alvo é desenhada a partir dos usos reais da plataforma existente.
- Um data warehouse pensado para analytics. O BigQuery estrutura os dados para a previsão, não apenas para o armazenamento.
- Pipelines orquestrados. Dagster no GKE e Spark tornam os processamentos confiáveis e reproduzíveis.
- Ganhos medidos em produção. Custos e desempenho são verificados na plataforma em operação.
Para você
Uma plataforma de dados moderna, mais rápida e menos custosa.
Esta abordagem responde a quatro situações.
- Sua plataforma de dados legada custa caro e torna seus processamentos lentos.
- Seus dados são coletados, mas pouco estruturados para análise e previsão.
- Você prepara uma migração para a nuvem e quer controlar o escopo.
- Você precisa reforçar a qualidade e a governança dos seus dados.
Auditamos seu ambiente atual, desenhamos a arquitetura-alvo e conduzimos a migração até a produção, com ganhos medidos.
