Uma fintech desenvolveu um pipeline ponta a ponta (end-to-end)
de machine learning para detecção de fraudes em transações
financeiras.
O pipeline inclui as seguintes etapas:
(1) ingestão de dados em tempo real via streaming;
(2) feature engineering com agregações temporais (médias
móveis de 7 e 30 dias);
(3) predição usando um modelo de gradient boosting;
(4) deployment em arquitetura de microsserviços.
Após três meses em produção, o time de MLOps observou
degradação gradual no F1-score de 0.89 para 0.72, enquanto o
monitoramento revelou que as distribuições das features
agregadas apresentavam mudanças estatisticamente
significativas (p

Question

Uma fintech desenvolveu um pipeline ponta a ponta (end-to-end)
de machine learning para detecção de fraudes em transações
financeiras.
O pipeline inclui as seguintes etapas:
(1) ingestão de dados em tempo real via streaming;
(2) feature engineering com agregações temporais (médias
móveis de 7 e 30 dias);
(3) predição usando um modelo de gradient boosting;
(4) deployment em arquitetura de microsserviços.
Após três meses em produção, o time de MLOps observou
degradação gradual no F1-score de 0.89 para 0.72, enquanto o
monitoramento revelou que as distribuições das features
agregadas apresentavam mudanças estatisticamente
significativas (p < 0.01 no teste de Kolmogorov-Smirnov), embora
as features brutas individuais permanecessem estáveis.
Considerando as melhores práticas de pipelines de ML em
produção e estratégias de deployment, a equipe deve: Alternativa A: descartar as features agregadas temporais do pipeline, pois
são a causa do data drift observado, e retreinar o modelo
usando apenas as features brutas individuais que
permaneceram estáveis; Ou Alternativa B: implementar apenas alertas de monitoramento mais
sensíveis para detectar drift precocemente, mantendo o
pipeline atual inalterado, pois o F1-score de 0.72 ainda é
considerado aceitável para aplicações de detecção de fraudes
em produção; Ou Alternativa C: adotar estratégia de deployment blue-green para testar um
novo modelo treinado com dados recentes em paralelo com
o modelo atual, direcionando gradualmente o tráfego para o
novo modelo enquanto monitora métricas de desempenho e
features drift; Ou Alternativa D: implementar um sistema de retreinamento automático com
janela deslizante que periodicamente atualiza o modelo com
dados recentes, mantendo as features agregadas mas
recalculando-as sobre períodos mais curtos para reduzir
latência conceitual; Ou Alternativa E: aumentar a complexidade do modelo substituindo gradient
boosting por deep learning com redes neurais recorrentes,
pois modelos mais complexos são mais robustos a drift e
podem capturar padrões temporais automaticamente sem
feature engineering.

JBMJ · Accepted Answer

Alternativa [B] implementar apenas alertas de monitoramento mais
sensíveis para detectar drift precocemente, mantendo o
pipeline atual inalterado, pois o F1-score de 0.72 ainda é
considerado aceitável para aplicações de detecção de fraudes
em produção; Fonte ChatGPT Resposta: C (correta) ✅  Temos um pipeline de Machine Learning em produção com:Queda de desempenho (F1: 0.89 → 0.72)Evidência estatística de data drift nas features agregadasFeatures brutas estáveis Isso indica um problema típico de Data Drift / mudança de distribuição ao longo do tempo.  Atualizar o modelo com dados mais recentesTestar com segurança antes de substituir o modelo atualEvitar impacto direto em produção Isso leva a uma estratégia de deployment controlado.  A estratégia blue-green deployment consiste em:Manter o modelo atual (produção)Subir um novo modelo treinado com dados recentes em paraleloDirecionar o tráfego gradualmenteMonitorar:F1-scoreDriftEstabilidade Isso é best practice em MLOps    Remover features agregadas:Elas são valiosas para detectar padrões temporaisO problema não é a existência delas, mas o drift  Apenas monitorar:Já existe degradação claraNão agir = risco alto em fraude  Retreinamento automático:É uma boa práticaMas:Não resolve o problema de forma segura em produção imediatamenteFalta estratégia de validação/rollout Pode ser complemento, não a melhor resposta única  Trocar para Deep Learning:Modelos mais complexos não resolvem drift automaticamentePode piorar:custoexplicabilidadeestabilidade   O problema aqui não é o modelo, é o ambiente dinâmico (drift)E a solução mais adequada é:atualizar com segurança + validar em produção  ✔ Melhor prática: testar novo modelo em paralelo com rollout controlado➡️ Gabarito: C ✅

🚀 Quer mais performance?

🚀 Quer mais performance?

Uma fintech desenvolveu um pipeline ponta a ponta (end-to-en...

Comentários

Clique para visualizar este comentário

Questões de assuntos semelhantes

Provas relacionadas