A) I e III, apenas.

I. A métrica mais importante nesse caso seria a Sensibilidade (Recall ou Revocação);

O recall pode ser usada em uma situação em que os Falsos Negativos são considerados mais prejudiciais que os Falsos Positivos. Por exemplo, o modelo deve de qualquer maneira encontrar todos os pacientes doentes, mesmo que classifique alguns saudáveis como doentes (situação de Falso Positivo) no processo. Ou seja, o modelo deve ter alto recall, pois classificar pacientes doentes como saudáveis pode ser uma tragédia.

III. Ao ajustar o modelo para minimizar erros de "tipo 2", geralmente os erros de "tipo 1" tendem a aumentar;

Ao ajustar o modelo para minimizar erros "tipo 2" (falso negativo), geralmente os erros "tipo 1" (falso positivo) tendem a aumentar. Isso ocorre porque, ao estabelecer um limite mais baixo para classificar uma lesão como potencialmente cancerígena, mais casos serão considerados suspeitos e, portanto, mais falsos positivos podem ocorrer. É preciso encontrar um equilíbrio entre os dois tipos de erro, dependendo das necessidades do contexto.

LETRA A

Complementando o excelente comentário da Maria Fernanda, podemos ver que a I e III são complementares. Quando eu aumento o número de Faltos Positivos, eu diminuo a Precisão e aumento a Sensibilidade.

Pensamos que existam 100 pacientes doentes e o modelo classificou apenas 20 como doentes e acertou todos os 20. Veja que a precisão foi alta, pois todos os classificados estavam doentes, porém o modelo deixou passar 80 pessoas doentes.

IV - Não é independente, é dependendo, pois pode haver tanto overfitting, quanto underfitting e o algoritmo precisará ser ajustado.

Recall = Verdadeiros positivos / (Verdadeiros Positivos - Falsos Negativos)

O cenário é: um modelo para detectar câncer. O pior erro aqui é o Falso Negativo (dizer que a pessoa está saudável quando ela tem câncer), pois ela deixa de se tratar.

(...)

​Aqui está a explicação simples de cada item:

(...)

​I. Correta: A Sensibilidade (Recall) é a métrica que foca em não deixar passar nenhum caso positivo. Como o objetivo é não ignorar quem tem câncer, ela é a mais importante.

(...)

​II. Incorreta: A Precisão foca em garantir que, quando o modelo diz "é câncer", ele esteja certo. No entanto, ser preciso demais pode fazer o modelo "ignorar" casos duvidosos, aumentando os Falsos Negativos, o que é perigoso nesse caso médico.

(...)

​III. Correta: Existe uma "balança" na estatística. Se você ajusta o modelo para ser muito sensível (diminuir erro tipo 2/falso negativo), ele acaba dando mais "alarmes falsos" (aumentar erro tipo 1/falso positivo). É o preço que se paga para não deixar passar a doença.

(...)

​IV. Incorreta: O Overfitting (sobreajuste) é quando o modelo decora os dados de treino e perde a capacidade de acertar na vida real. Treinar "independentemente do overfitting" é um erro grave em Ciência de Dados; o modelo ficaria viciado e inútil.

(...)

Fonte: Gemini