Contexto
Esse cliente é uma das principais fintechs de pagamentos da América Latina, atuando com alto volume de transações e uma infraestrutura de dados robusta para sustentar sua operação. Em ambientes de dados dessa escala, é comum que a engenharia de dados enfrente desafios como a criação de pipelines para novas fontes, a identificação de gargalos de performance e o monitoramento de custos na nuvem — processos que, quando feitos manualmente, dependem fortemente da experiência individual de cada engenheiro e do cruzamento de informações espalhadas por diversos sistemas (logs, tabelas, histórico de operações).
Otimização de custos em cenário complexo
Foi nesse contexto que essa empresa identificou uma anomalia de custo em seu ambiente Databricks, hospedado no Google Cloud Platform (GCP). O problema vinha se formando a cerca de duas semanas, começando de forma discreta e crescendo aos poucos, até que a equipe não teve mais como ignorá-lo: o gasto diário chegou a quase dobrar, atingindo um aumento de aproximadamente 86% por dia. A causa do problema estava longe de ser óbvia: envolvia uma combinação de fatores técnicos que, isoladamente, pareciam inofensivos, mas que juntos geraram um efeito cascata de custo em uma das rotinas automáticas de manutenção de dados do Databricks. Identificar essa origem exigiria cruzar logs de acesso a arquivos, metadados de tabelas e o histórico de execuções de manutenção — um trabalho manual estimado, segundo o próprio engenheiro responsável, em dois a três dias, e mesmo assim sem garantia de se chegar à causa raiz.
Solução FinOps com IA
Para enfrentar esse desafio, a Objective desenvolveu um agente de IA de FinOps utilizando o Claude, da Anthropic, incorporando nele todo o contexto técnico e de negócio do ambiente de dados da empresa. Mais do que uma ferramenta pontual, o agente foi construído para atuar como um investigador autônomo, capaz de correlacionar sinais que, para um ser humano, estão dispersos entre diferentes sistemas. Diante da anomalia de custo, o engenheiro acionou o agente informando apenas onde o custo estava subindo. O agente investigou de forma autônoma, cruzando logs e dados do ambiente, até identificar a origem exata do problema — Uma tabela vinha recebendo dados com um padrão de organização inadequado para seu tamanho, fazendo com que a rotina automática de manutenção do Databricks passasse a acessar excessivamente o armazenamento em nuvem. Um grande lote desses dados problemáticos foi o gatilho que intensificou o efeito de forma abrupta.
Redução de custo e aumento de produtividade
O agente propôs pausar temporariamente a rotina de manutenção na tabela afetada, estancando a anomalia. Em seguida, o time notificou o responsável pelos dados problemáticos para uma correção definitiva. Essa ação recomendada e executada pelo agente foi responsável por trazer o custo de volta ao patamar normal, uma redução de 46% no custo da operação gerado pela anomalia. O que levaria de dois a três dias de trabalho manual, sem garantia de sucesso, foi resolvido em cerca de vinte minutos.
Mais do que resolver a anomalia, o agente identificou uma oportunidade adicional de otimização, indo além do problema que motivou a investigação: recomendou ajustes que geraram uma redução de aproximadamente 28% sobre o custo normal da operação — um ganho que dificilmente seria priorizado em uma investigação manual voltada apenas a conter o problema mais urgente.
O sucesso da iniciativa não ficou restrito a um único profissional: o agente já foi testado por outros engenheiros do time de dados dessa empresa, com resultados consistentes, mostrando que o conhecimento especializado necessário para investigações complexas de custo pode ser replicado dentro da equipe. Hoje acionado sob demanda, o agente já é visto pela empresa como um ponto de partida para uma frente mais ampla de FinOps, com planos de evoluir para um funcionamento contínuo e proativo, capaz de identificar anomalias antes mesmo que impactem a operação.
