Uma empresa de e-commerce implantou um modelo de machine
learning para prever a probabilidade de churn, métrica que indica
a rotatividade ou evasão de clientes. Após seis meses em
produção, a equipe de dados observou que, embora as
distribuições estatísticas das features de entrada permanecessem
estáveis (mesmas médias, mesmos desvios-padrão e mesmas
distribuições), o relacionamento entre essas features e a
variável-alvo (churn) havia mudado significativamente devido a
alterações no comportamento dos consumidores causadas por
novas políticas de fidelização da empresa.
Diante desse cenário, é correto afirmar que o modelo:

Question

Uma empresa de e-commerce implantou um modelo de machine
learning para prever a probabilidade de churn, métrica que indica
a rotatividade ou evasão de clientes. Após seis meses em
produção, a equipe de dados observou que, embora as
distribuições estatísticas das features de entrada permanecessem
estáveis (mesmas médias, mesmos desvios-padrão e mesmas
distribuições), o relacionamento entre essas features e a
variável-alvo (churn) havia mudado significativamente devido a
alterações no comportamento dos consumidores causadas por
novas políticas de fidelização da empresa.
Diante desse cenário, é correto afirmar que o modelo:  Alternativa A: requer apenas ajustes nos hiperparâmetros através de
validação cruzada com os dados históricos originais,
mantendo a mesma arquitetura e features do pipeline de
produção atual; Ou Alternativa B: está sofrendo de concept drift, uma vez que a relação entre
as features e o target mudou, requerendo retreinamento do
modelo com dados recentes que reflitam o novo
comportamento dos clientes;  Ou Alternativa C: não apresenta problemas, pois as distribuições estatísticas
das features permanecem estáveis, e mudanças em políticas
internas da empresa não afetam a capacidade preditiva de
modelos já treinados; Ou Alternativa D: está sofrendo de data drift, pois as características dos dados
de entrada mudaram ao longo do tempo, sendo necessário
realizar feature engineering adicional para capturar as novas
políticas de fidelização;  Ou Alternativa E: apresenta tanto data drift quanto concept drift
simultaneamente, sendo necessário reprojetar
completamente o pipeline de machine learning incluindo
nova coleta de dados e arquitetura de modelo.

Qconcursos · Accepted Answer

Alternativa [B] está sofrendo de concept drift, uma vez que a relação entre
as features e o target mudou, requerendo retreinamento do
modelo com dados recentes que reflitam o novo
comportamento dos clientes;  Gabarito: BFundamento decisivo: O elemento decisivo foi a comparação entre duas informações do enunciado: as features permaneceram estáveis, mas a relação entre elas e o churn mudou. Essa combinação afasta data drift e caracteriza concept drift.Tema central: Concept driftAnálise das alternativasAErradaEstá errada porque ajustar hiperparâmetros com validação cruzada sobre os dados históricos originais não enfrenta o problema descrito: a relação entre features e target mudou depois. Se o padrão preditivo mudou, é preciso incorporar dados recentes aderentes ao novo comportamento, e não apenas recalibrar o modelo com o histórico antigo.BCertaA alternativa B está certa porque o enunciado descreve mudança na relação entre as variáveis de entrada e a variável-alvo, sem alteração nas distribuições das features. Isso caracteriza concept drift. Como o padrão preditivo aprendido deixou de refletir o comportamento atual dos clientes, a medida compatível é retreinar o modelo com dados recentes que representem o novo cenário.CErradaEstá errada porque estabilidade estatística das features não garante que o modelo continue válido. O enunciado afirma justamente que a relação entre entradas e churn mudou; isso já basta para comprometer a capacidade preditiva do modelo, mesmo sem alteração em médias, desvios-padrão ou distribuições das features.DErradaEstá errada porque classifica o caso como data drift, mas o enunciado afasta expressamente essa hipótese ao dizer que as características de entrada permaneceram estáveis. O problema descrito não é mudança na distribuição de X, e sim mudança na relação entre X e y.EErradaEstá errada porque acrescenta dois pontos sem suporte no enunciado: a ocorrência simultânea de data drift e a necessidade de reprojeto completo do pipeline. A base descrita sustenta apenas concept drift, e não autoriza concluir por nova arquitetura, nova coleta obrigatória ou reformulação integral do sistema.Pegadinha da questãoA confusão explorada foi fazer o candidato achar que, como o problema surgiu ao longo do tempo e por mudança no negócio, haveria data drift ou até ausência de problema. O ponto real era separar mudança na distribuição das entradas de mudança na relação preditiva entre entradas e alvo.Dica para questões semelhantesSe a distribuição das features permanece estável, mas a relação entre entradas e alvo muda, trate o caso como concept drift.Não conclua ausência de problema só porque médias, desvios-padrão e distribuições das features ficaram iguais.Quando o padrão preditivo muda por comportamento recente, a resposta compatível é retreinar com dados recentes representativos desse novo padrão.Só fale em data drift quando houver mudança na distribuição dos dados de entrada.

Uma empresa de e-commerce implantou um modelo de machine le...

Gabarito comentado

Gabarito: B

Clique para visualizar este gabarito

Comentários

Clique para visualizar este comentário

Questões de assuntos semelhantes

Provas relacionadas