Você está trabalhando em uma prova de conceito usando um pipeline de aprendizado de máquina que está sendo ampliado? Parabéns, você fez um trabalho maravilhoso: somente 13% Do projeto Data Science Really Make It to Production!

Agora você está recebendo muitas perguntas, como: como você pretende colocar o modelo em produção? Como sua equipe garante que o modelo ainda seja suficientemente preciso? Como as operações podem explicar as previsões do modelo? E quanto à conformidade e ao modelo de governança?

As operações de aprendizado de máquina (também chamadas de MLOps) são a resposta para tudo isso. Vamos tentar entender como esses chamados MLOPs podem nos ajudar a executar a IA com sucesso.

Por Jamila REJEB, Cientista de dados na LittleBigCode

O MLOps é uma nova tendência?

Você provavelmente já ouviu falar de DevOps, que é um movimento que visa conciliar duas profissões: o desenvolvedor de software (dev), por um lado, e o administrador de sistemas e arquitetura (ops), por outro. No entanto, o MLOps é um conceito muito mais novo. Na verdade, se você pesquisar MLOPs nas tendências do Google, verá que é uma disciplina relativamente nova.

À medida que mais e mais empresas estão recorrendo aos modelos de ML para obter insights, as organizações estão tentando integrar sistemas de ML em seus produtos e plataformas.

Portanto, o processo de operação do ML precisa ser tão simplificado quanto o trabalho de executar sistemas de TI.

O que é MLOps?

mLOps significa Operações de aprendizado de máquina. Assim como o DevOps, o MLops nasceu para otimize, acelere e proteja o ciclo de vida da produção.

MLops não é um perfil de trabalho, mas Uma metodologia/um conjunto de melhores práticas Isso visa Implemente e mantenha Modelos de aprendizado de máquina em produção Eficientemente e eficientemente. Como? Ao trabalhar sob a lente do interesse organizacional com uma direção clara e benchmarks mensuráveis.

Da mesma forma que o DevOps reduz os ciclos de vida da produção ao melhorar os produtos a cada iteração, o MLOps gera insights nos quais você pode confiar e agir mais cedo.

MLOps, DevOps, DataOps: qual a diferença?

Tanto o DevOps quanto o MLOps visam colocar um software em um fluxo de trabalho repetível e tolerante a falhas, enquanto O MLops adiciona um componente de aprendizado de máquina a esse software.

No entanto, o MLOps, em última análise, tem Mais algumas nuances para cada componente do fluxo de trabalho que difere do DevOps tradicional, como rotulagem de dados, transformação de dados, engenharia de recursos e processo de seleção de algoritmos.

Fonte: MLOps vs DevOps: Qual é a diferença? PHDATA.IO

DataOps É uma prática colaborativa de gerenciamento de dados focada em melhorar a comunicação, integração e automação de Fluxos de dados entre empresas de dados (engenheiros de dados) e consumidores de dados (cientistas de dados, analistas de negócios).

A promessa do DataOps é Melhore e otimize o ciclo de vida dos projetos de dados e análises Em termos de velocidade e qualidade. Assim como o DevOps, o DataOps reorienta seus projetos na colaboração.

Por que precisamos de MLOPs?

Motocicleta Moops: Otimizar, Acelere E Seguro Ciclo de vida de um projeto de ML.

Esse conjunto de melhores práticas ajudará você a: Controle de versão: código, dados, modelos... Teste e validação No caso de um desvio de dados, ou para estabelecer o valor da solução (teste A/B) e garantir a estabilidade da solução por meio de testes unitários, por exemplo. Isso nos ajudará também com Monitoramento E Alertando entendendo os modelos usando a interpretabilidade e visualizando métricas ao vivo. Além disso, o MLOps é amplamente utilizado para Automação e orquestração Objetivos graças aos pipelines de CI/CD e à orquestração do DAG. Poderíamos até mesmo adicionar coisas como Segurança de dados e privacidade e controle orçamentário.

Na verdade, em nossa equipe de ciência de dados, as ferramentas e práticas de MLOps nos ajudam em todas as etapas de um projeto de aprendizado de máquina. Começar com o registro de todos os experimentos em um painel abrangente facilita a comparação e a escolha do melhor modelo para um conjunto de métricas que definimos para automatizar sua implantação na produção e garantir que os testes necessários estejam em vigor. Mas e se precisarmos criar uma versão desse modelo ou dos dados nos quais ele foi treinado? Os MLOps também podem ajudar com isso. Além disso, conseguimos acompanhar facilmente o desempenho do modelo e ser alertados em caso de desvio. Resumindo, o uso desse conjunto de práticas nos ajuda a organizar melhor nosso projeto de ML e a nos comunicar com mais facilidade.

Como uma imagem tem mil palavras, aqui está um gráfico na tentativa de resumir melhor os conceitos abordados acima.

De uma forma mais prática, o MLOps ajudará você a responder às seguintes perguntas:

• Como posso ser notificado o mais rápido possível sempre que minhas distribuições de dados mudarem? As coisas evoluem com o tempo, seus dados também. Para citar apenas um exemplo, se você estiver classificando texto usando um modelo supervisionado e começar a receber dados em um novo idioma, a menos que detecte essa alteração em sua distribuição de dados, não poderá levar em consideração essa nova necessidade e atualizar seu modelo adequadamente.
• Como posso rastrear meus experimentos? O ciclo de vida de um projeto de ML envolve várias fases de experimentações e iterações, como testar vários modelos, várias seleções de recursos, ajuste de hiperparâmetros... Armazenar resultados em arquivos simples de planilhas do Excel rapidamente se tornará entediante. Felizmente, existem hoje inúmeras soluções para rastrear e visualizar esses experimentos.
• Como posso implantar facilmente meu modelo na produção? Depois que seu projeto de ML for aprovado para ser usado pela empresa que você precisa escolher, como as operações usarão suas previsões? Uma solução comum seria expor essas previsões usando uma API. Algumas soluções que discutiremos na próxima seção visam facilitar a implantação e reduzir os atrasos.
• Como posso ter certeza de que meus modelos ainda estão corretos? Uma deterioração no desempenho do modelo pode minar a confiança do consumidor e introduzir riscos para a empresa. Portanto, precisamos monitorar continuamente o comportamento do modelo e testar suas previsões. Quanto mais rápido você detectar um eventual problema, mais rápido poderá solucioná-lo.
• Como posso gerenciar o ciclo de vida de todos os modelos de produção? Os modelos estão fadados a mudar com o tempo. Precisamos ser capazes de treinar um modelo com facilidade e atualizá-lo na produção ou até mesmo planejar um novo treinamento automático com o mínimo esforço. Também devemos ser capazes de gerenciar facilmente várias versões do modelo em produção.
• Como podemos explicar as previsões? Em alguns casos, as operações precisam explicar as previsões do modelo. Dependendo de qual modelo está sendo usado, uma variedade de ferramentas pode ajudar a esclarecer seu comportamento a fim de aumentar a confiança na IA.

Qual ferramenta pode ser usada?

Vários métodos foram desenvolvidos na tentativa de abranger tudo o que foi descrito acima. Na verdade, ao realizar a pesquisa, havia muitos para incluir, então decidimos listar os mais comuns. Cada ferramenta tem suas funcionalidades. Nosso objetivo é obter uma referência geral do que cada ferramenta realiza. Vamos nos aprofundar em uma comparação mais completa no próximo artigo.

Conclusão

O MLOps é, sem dúvida, um conceito novo, mas bem justificado. Ele fornece às organizações uma estrutura clara para uma implantação e monitoramento mais eficazes de projetos de aprendizado de máquina, a fim de trazer o interesse comercial de volta à vanguarda de suas operações de ML. Usando esses conjuntos de ferramentas e melhores práticas, fica mais fácil para cientistas de dados, engenheiros de dados, engenheiros de software e operações trabalharem e se comunicarem com eficiência.