Uma fintech desenvolveu um pipeline ponta a ponta (end-to-end)
de machine learning para detecção de fraudes em transações
financeiras.
O pipeline inclui as seguintes etapas:
(1) ingestão de dados em tempo real via streaming;
(2) feature engineering com agregações temporais (médias
móveis de 7 e 30 dias);
(3) predição usando um modelo de gradient boosting;
(4) deployment em arquitetura de microsserviços.
Após três meses em produção, o time de MLOps observou
degradação gradual no F1-score de 0.89 para 0.72, enquanto o
monitoramento revelou que as distribuições das features
agregadas apresentavam mudanças estatisticamente
significativas (p

Question

Uma fintech desenvolveu um pipeline ponta a ponta (end-to-end)
de machine learning para detecção de fraudes em transações
financeiras.
O pipeline inclui as seguintes etapas:
(1) ingestão de dados em tempo real via streaming;
(2) feature engineering com agregações temporais (médias
móveis de 7 e 30 dias);
(3) predição usando um modelo de gradient boosting;
(4) deployment em arquitetura de microsserviços.
Após três meses em produção, o time de MLOps observou
degradação gradual no F1-score de 0.89 para 0.72, enquanto o
monitoramento revelou que as distribuições das features
agregadas apresentavam mudanças estatisticamente
significativas (p < 0.01 no teste de Kolmogorov-Smirnov), embora
as features brutas individuais permanecessem estáveis.
Considerando as melhores práticas de pipelines de ML em
produção e estratégias de deployment, a equipe deve: Alternativa A: descartar as features agregadas temporais do pipeline, pois
são a causa do data drift observado, e retreinar o modelo
usando apenas as features brutas individuais que
permaneceram estáveis; Ou Alternativa B: implementar apenas alertas de monitoramento mais
sensíveis para detectar drift precocemente, mantendo o
pipeline atual inalterado, pois o F1-score de 0.72 ainda é
considerado aceitável para aplicações de detecção de fraudes
em produção; Ou Alternativa C: adotar estratégia de deployment blue-green para testar um
novo modelo treinado com dados recentes em paralelo com
o modelo atual, direcionando gradualmente o tráfego para o
novo modelo enquanto monitora métricas de desempenho e
features drift; Ou Alternativa D: implementar um sistema de retreinamento automático com
janela deslizante que periodicamente atualiza o modelo com
dados recentes, mantendo as features agregadas mas
recalculando-as sobre períodos mais curtos para reduzir
latência conceitual; Ou Alternativa E: aumentar a complexidade do modelo substituindo gradient
boosting por deep learning com redes neurais recorrentes,
pois modelos mais complexos são mais robustos a drift e
podem capturar padrões temporais automaticamente sem
feature engineering.

Qconcursos · Accepted Answer

Alternativa [B] implementar apenas alertas de monitoramento mais
sensíveis para detectar drift precocemente, mantendo o
pipeline atual inalterado, pois o F1-score de 0.72 ainda é
considerado aceitável para aplicações de detecção de fraudes
em produção; Gabarito: BFundamento decisivo: A decisão era entre manter o pipeline sem mudança estrutural ou impor uma intervenção específica sem critério operacional dado. Como o enunciado não fixa regra objetiva para descartar features, trocar modelo, ajustar janelas ou adotar outro deployment, a alternativa B é a que mais se mantém aderente ao gabarito oficial.Tema central: drift em produçãoAnálise das alternativasAErradaErra porque transforma a detecção de drift nas features agregadas em prova de que elas devem ser descartadas. O caso não demonstra causalidade suficiente para eliminar essas features, nem autoriza concluir que usar apenas features brutas preservaria ou melhoraria o desempenho.BCertaA alternativa B é a correta por aderência ao gabarito oficial. Entre as opções, ela é a única que não impõe mudança estrutural específica no pipeline, no modelo ou no deployment com base em critério não fornecido pelo enunciado.CErradaErra porque prescreve blue-green e migração gradual para novo modelo como se isso decorresse necessariamente do caso. Essa é uma estratégia válida em abstrato, mas o enunciado não fornece base mínima para tratá-la como consequência lógica obrigatória.DErradaErra porque acrescenta uma resposta procedimental específica: retreinamento automático com janela deslizante e recálculo das agregações em períodos mais curtos. Essas medidas podem ser plausíveis, mas dependem de política operacional e validação não fornecidas no enunciado.EErradaErra porque parte de uma generalização técnica indevida: maior complexidade de modelo não implica, por si só, maior robustez a drift. Também não há base para afirmar que a troca para redes neurais recorrentes resolveria o problema ou dispensaria feature engineering.Pegadinha da questãoTomar boas práticas possíveis de MLOps, como blue-green ou retreinamento automático, como resposta obrigatória sem lastro suficiente no enunciado.Dica para questões semelhantesQuando o enunciado aponta drift e degradação, mas não fixa protocolo de resposta, elimine alternativas que imponham mudanças estruturais específicas sem necessidade minimamente demonstrada.Não confunda drift em feature derivada com prova de que a feature deve ser removida; isso exige evidência causal adicional.Não aceite como correta a tese de que modelo mais complexo resolve drift automaticamente; essa generalização não se sustenta por si.Se a alternativa invoca aceitabilidade de métrica em produção, verifique se o enunciado trouxe baseline de negócio, custo de erro ou SLA; sem isso, essa conclusão não está demonstrada.

🚀 Mais performance?

🚀 Mais performance?

Uma fintech desenvolveu um pipeline ponta a ponta (end-to-en...

Gabarito comentado

Gabarito: B

Clique para visualizar este gabarito

Comentários

Clique para visualizar este comentário

Questões de assuntos semelhantes

Provas relacionadas