Uma fintech desenvolveu um pipeline ponta a ponta (end-to-end) de machine learning para detecção de fraudes em transações financeiras.
O pipeline inclui as seguintes etapas:

(1) ingestão de dados em tempo real via streaming;
(2) feature engineering com agregações temporais (médias móveis de 7 e 30 dias);
(3) predição usando um modelo de gradient boosting;
(4) deployment em arquitetura de microsserviços.

Após três meses em produção, o time de MLOps observou degradação gradual no F1-score de 0.89 para 0.72, enquanto o monitoramento revelou que as distribuições das features agregadas apresentavam mudanças estatisticamente significativas (p < 0.01 no teste de Kolmogorov-Smirnov), embora as features brutas individuais permanecessem estáveis.
Considerando as melhores práticas de pipelines de ML em produção e estratégias de deployment, a equipe deve:

Question

A

descartar as features agregadas temporais do pipeline, pois são a causa do data drift observado, e retreinar o modelo usando apenas as features brutas individuais que permaneceram estáveis;

B

implementar apenas alertas de monitoramento mais sensíveis para detectar drift precocemente, mantendo o pipeline atual inalterado, pois o F1-score de 0.72 ainda é considerado aceitável para aplicações de detecção de fraudes em produção;

C

adotar estratégia de deployment blue-green para testar um novo modelo treinado com dados recentes em paralelo com o modelo atual, direcionando gradualmente o tráfego para o novo modelo enquanto monitora métricas de desempenho e features drift;

D

implementar um sistema de retreinamento automático com janela deslizante que periodicamente atualiza o modelo com dados recentes, mantendo as features agregadas mas recalculando-as sobre períodos mais curtos para reduzir latência conceitual;

E

aumentar a complexidade do modelo substituindo gradient boosting por deep learning com redes neurais recorrentes, pois modelos mais complexos são mais robustos a drift e podem capturar padrões temporais automaticamente sem feature engineering.

Incorreta. Gabarito oficial da banca:

Veja como esse erro impacta seu desempenho geral. Ver estatísticas

teste

Parabéns! Você acertou!

Esse acerto melhora seu desempenho! Veja suas estatísticas

teste

Qconcursos · Accepted Answer

Alternativa [C] adotar estratégia de deployment blue-green para testar um novo modelo treinado com dados recentes em paralelo com o modelo atual, direcionando gradualmente o tráfego para o novo modelo enquanto monitora métricas de desempenho e features drift;  Gabarito: CFundamento decisivo: A decisão estava no conjunto de sinais de produção: queda do F1-score e mudança nas distribuições das features agregadas, com as features brutas estáveis. Isso exige uma resposta operacional que trate o risco de drift sem interromper o serviço, o que aponta para deployment controlado de uma nova versão em paralelo.Tema central: drift e deployment seguroAnálise das alternativasAErradaEstá errada porque transforma a mudança nas features agregadas em motivo automático para descartá-las. A base é expressa em dizer que o enunciado não sustenta que essas features sejam inadequadas; sustenta apenas que suas distribuições mudaram e que o modelo perdeu desempenho. Remover features potencialmente informativas sem validação não é a resposta técnica exigida.BErradaEstá errada porque propõe apenas monitoramento mais sensível, embora o problema já tenha se materializado em produção com queda do F1-score. A base também afasta a afirmação de que F1 = 0,72 seja aceitável com base no enunciado. Monitorar melhor ajuda a detectar, mas não corrige um modelo já degradado.CCertaA alternativa C é a correta porque combina a atualização do modelo com dados recentes e uma implantação controlada, em paralelo ao modelo atual, com migração gradual do tráfego. Esse é o encaminhamento compatível com a base de decisão diante de degradação mensurável em produção associada a mudanças nas features derivadas: validar a nova versão antes de substituir a anterior, monitorando desempenho e drift ao longo da transição.DErradaEstá errada como melhor resposta do item porque, embora retreinamento periódico com dados recentes seja prática plausível, a alternativa acrescenta uma medida específica não demonstrada no enunciado: recalcular agregações em períodos mais curtos para reduzir "latência conceitual". Além disso, a questão cobra também estratégia de deployment seguro, e D não enfrenta explicitamente a validação comparativa e a implantação paralela entre versões como faz a C.EErradaEstá errada porque presume que aumentar a complexidade do modelo resolve drift e dispensaria feature engineering. A base rejeita essa generalização: trocar gradient boosting por deep learning não é solução necessária nem garantida para drift, e o enunciado não fornece fundamento para afirmar maior robustez intrínseca.Pegadinha da questãoA distinção decisiva era que não bastava só monitorar, retreinar ou descartar features; a questão exigia deployment seguro de uma nova versão em paralelo ao modelo atual.Dica para questões semelhantesSe houver degradação mensurável de desempenho junto com mudança de distribuição, trate como problema operacional ativo, não apenas como caso de monitoramento.Drift em features derivadas não autoriza, por si só, remover essas features; primeiro valide nova versão do modelo.Quando a questão cobrar produção e deployment, prefira a alternativa que combine atualização do modelo com implantação paralela/progressiva e monitoramento comparativo.

🚀 Mais performance?

🚀 Mais performance?

Uma fintech desenvolveu um pipeline ponta a ponta (end-to-en...

Gabarito comentado

Gabarito: C

Clique para visualizar este gabarito

Comentários

Clique para visualizar este comentário

Questões de assuntos semelhantes

Provas relacionadas