Escolha da tecnologia
Após uma análise criteriosa, foi decidido o uso de FastAPI devido à facilidade em documentar e disponibilizar APIs de forma ágil.
Como um processo consolidado aumenta a eficiência em ambientes de big data
Como os modelos que industrializamos geram ganhos de 20 milhões de dólares anualmente, de forma recorrente.
Contexto do cliente
Um grande conglomerado industrial multinacional de empresas de aço, enfrentava o desafio de operacionalizar seus modelos de machine learning, que estavam até então confinados em ambientes de experimentação. Esses modelos, utilizados principalmente para previsões e otimizações, precisavam ser integrados ao ambiente produtivo da empresa para que os clientes internos pudessem usá-los de forma eficaz, robusta, escalável e integrada às operações diárias da empresa. A dificuldade incluía a falta de clareza sobre as melhores tecnologias a serem empregadas, além de processos manuais demorados e propensos a erros.
Desafio
O maior obstáculo era a industrialização desses modelos, ou seja, transformá-los de experimentos pontuais em soluções robustas, prontas para o uso contínuo em produção. O processo de desenvolvimento de sistemas de machine learning não estava consolidado, e havia dúvidas sobre qual a melhor stack tecnológica para viabilizar essa transição, o que gerava lentidão e aumentava o risco de erros humanos durante a manipulação de dados e execução dos modelos.
Solução
Para superar esse desafio, foi implementada uma série de ações:
Automatização dos processos
Foram construídos pipelines de Continuous Integration (CI) e Continuous Delivery (CD), além do versionamento de código e modelos de machine learning.
Disponibilização de APIs
APIs foram criadas para permitir que os usuários consumissem os modelos diretamente, eliminando a necessidade de execuções manuais.
Monitoramento proativo
Um sistema de monitoramento foi implementado para identificar e corrigir falhas de comunicação e processamento de arquivos, garantindo a integridade dos dados e dos processos de ingestão.
Resultados
Eficiência aumentada
o tempo para disponibilizar um modelo em produção foi reduzido, com alguns modelos sendo operacionalizados em menos de uma semana.
Automatização completa
a criação de pipelines automatizados eliminou os erros humanos, garantindo que novos modelos pudessem ser adicionados de forma eficiente e escalável.
