Julgue o próximo item, relativo à avaliação de modelos.Consi...

Próximas questões
Com base no mesmo assunto
Q3258096 Engenharia de Software

Julgue o próximo item, relativo à avaliação de modelos.


Considere que os três gráficos identificados por #1, #2 e #3 a seguir representem resultados de modelos de classificação em uma base de treinamento com dados de uma agência bancária e que neles a linha separe duas situações: X indicativo de não pagamento de empréstimo e O indicativo de pagamento de empréstimo. Com base nessas informações e nos gráficos apresentados, é correto afirmar que #1 é o modelo mais simples e performático com baixo viés, o modelo #2 tem acurácia média e alto viés e #3 é o modelo ideal, em comparação aos demais, pois tem alto viés e alta acurácia.


Imagem associada para resolução da questão

Alternativas

Comentários

Veja os comentários dos nossos alunos

Já de cara daria para resolver essa questão sabendo que o modelo #3 representa um caso de overfitting, que ocorre quando o modelo se ajusta perfeitamente aos dados de treinamento, mas não consegue generalizar para novos dados, sendo assim, longe de ser o modelo ideal.

Além disso, tenha em mente que:

Modelo #1 - Under-fitting (Subajuste) - Alto viés | Baixa variância

Modelo #2 - Optimal-fitting (Modelo Ótimo/Ideal) - Equilíbrio entre viés e variância

Modelo #3 - Over-fitting (Sobreajuste) - Alta variância | Baixo viés

Dessa forma, podemos identificar mais alguns erros na afirmativa:

"#1 é o modelo mais simples e performático com baixo viés" ---> (o modelo 1 é underfitting, ou seja, tem ALTO viés)

"o modelo #2 tem acurácia média e alto viés" ---> (não tem alto viés, é o modelo ideal)

"#3 é o modelo ideal, em comparação aos demais, pois tem alto viés e alta acurácia." ---> (o modelo 3 é overfitting, ou seja, tem alta VARIÂNCIA e baixo viés)

Imagem para colocar no Anki:

https://th.bing.com/th/id/R.a572494ce4b47f476a82796578fd7468?rik=cZmBsfGXl59Fbg&pid=ImgRaw&r=0

Logo a questão está ERRADA.

.

Viés é um termo que pode confundir. Perguntei ao Grok a diferença entre erro de classificação e viés:

O viés tende a se manifestar como um padrão sistemático e previsível de erros nas previsões de um modelo, onde esses erros ocorrem de forma consistente em certos grupos, contextos ou condições. Esse padrão pode ser resultado de:

  • Dados enviesados: Os dados de treinamento contêm desigualdades ou preconceitos que o modelo aprende e reproduz.
  • Modelo inadequado: Um modelo muito simples (alto viés estatístico) que não captura nuances importantes, levando a erros sistemáticos.
  • Design ou uso inadequado: Escolhas no desenvolvimento ou aplicação do modelo que favorecem certos resultados.

Por exemplo, se um modelo de classificação de "apto" ou "não apto" consistentemente classifica indivíduos de um grupo demográfico específico como "não aptos" (mesmo quando qualificados), isso indica um viés, pois há um padrão claro e previsível de erro associado a esse grupo.

Se não há um padrão sistemático nos erros, ou seja, os erros de classificação ocorrem de forma esporádica ou aleatória sem relação com grupos específicos ou condições previsíveis, eles são considerados erros de classificação sem viés. Esses erros podem ser causados por:

  • Ruído nos dados: Variações aleatórias ou casos atípicos.
  • Limitações do modelo: Incapacidade de generalizar perfeitamente para todos os casos (especialmente em modelos com alta variância, como em overfitting).
  • Complexidade do problema: Alguns casos são inerentemente difíceis de prever corretamente.

Por exemplo, se um modelo classifica erroneamente um indivíduo como "não apto" devido a uma combinação única de características que não aparece frequentemente nos dados, e esse erro não se repete para outros indivíduos semelhantes, isso é um erro isolado, não um viés.

Gabarito Errada

A afirmação é errada. Os conceitos de viés, acurácia e o que constitui um modelo "ideal" estão incorretamente aplicados.

  • #1 tem alto viés (underfitting).

  • #3 tem baixo viés, mas alta variância (overfitting), não sendo ideal para generalização.

  • A descrição do #2 é a mais próxima de algo razoável, mas a interpretação do viés ainda pode ser questionada sem dados de teste.

O erro principal está na interpretação do viés e na conclusão de que #3 é ideal.

Retroceder Nunca Render-se Jamais !

Força e Fé !

Fortuna Audaces Sequitur ! 

Um bom modelo não é o mais simples nem o mais complexo.

Ele precisa generalizar bem: aprender os padrões reais, sem memorizar os ruídos.

O ideal é encontrar um equilíbrio entre viés e variância, como no modelo #2 do gráfico.

Clique para visualizar este comentário

Visualize os comentários desta questão clicando no botão abaixo