Sendo sincero, não me sinto tão confortável para comentar sobre questões de probabilidade (sou péssimo), mas resolvi da seguinte forma (fiquem à vontade para discordar):

Quero a probabilidade de 3 bolas sorteadas com reposição serem pretas, isto é, a primeira ser preta E a segunda ser preta E a terceira ser preta também, com a condição de que a primeira e a segunda bola sorteadas foram devolvidas à urna com mais duas bolas da mesma cor (Por exemplo: se eu peguei uma bola preta, devolvi com mais duas pretas). A condição faz com que o espaço amostral se altere a cada devolução.

Sendo assim, probabilidade de pegar uma bola preta no 1º lançamento: 3/8 (bolas pretas/bolas totais)

Devolvi a que peguei (necessariamente preta) e a urna ficou com 5 pretas e 5 brancas, totalizando 10 bolas.

No segundo lançamento, a probabilidade de pegar uma preta fica: 5/10 (bolas pretas/bolas totais).

Devolvi a que peguei e a urna ficou com 7 pretas e 5 brancas, totalizando 12 bolas.

No terceiro lançamento a probabilidade de pegar uma preta muda para 7/12, seguindo a mesma lógica.

Como são eventos do tipo "E", devo multiplicar as probabilidades.

3/8 x 5/10 x 7/12 = 105/960 = 0,109... x 100%, 10,9%, aproximadamente 11%.

Gabarito letra D

A redação ficou confusa pois na terceira reposição, não ficou claro que iria retornar com mais duas bolas. Acredito que a questão deveria ser anulada.

Temos que 

P(três bolas retiradas pretas) = P(Primeira ser preta) ⋅P(Segunda ser preta) ⋅ P(terceira ser preta).

Como são adicionadas 2 bolas de mesma cor em cada um das retiradas, então 

P(três bolas retiradas pretas) = P(Primeira ser preta) ⋅

P(Segunda ser preta) ⋅

 P(terceira ser preta)

P(três bolas retiradas pretas)=3/8⋅5/10⋅7/12

P(três bolas retiradas pretas)=1/8⋅1/2⋅7/4

P(três bolas retiradas pretas)=0,109375≈0,11.

Gabarito: Letra D

Queremos a probabilidade de que as três bolas sorteadas sejam pretas. Vamos esboçar a árvore de possibilidades para visualizar claramente o ramo “preta → preta → preta” e entender como o produto 3/8×5/10×7/12 aparece naturalmente.

Primeiro sorteio (8 bolas: 3 pretas, 5 brancas):

• Sai preta com probabilidade 3/8.
• Sai branca com probabilidade 5/8.

Vamos seguir apenas o ramo “preta”.

Regra: cada vez que uma bola é sorteada, ela volta para a urna junto com +2 bolas da mesma cor.

Segundo sorteio (após sair preta: 5 pretas, 5 brancas → 10 bolas):

• Sai preta com probabilidade 5/10.
• Sai branca com probabilidade 5/10.

Continuamos no ramo “preta → preta”.

Terceiro sorteio (após sair preta novamente: 7 pretas, 5 brancas → 12 bolas):

• Sai preta com probabilidade 7/12.
• Sai branca com probabilidade 5/12.

Chegamos ao ramo “preta → preta → preta”.

Multiplicamos as probabilidades ao longo do caminho:

P(preta → preta → preta)=3/8×5/10×7/12. Essas são as probabilidades de sair bola preta em cada etapa, considerando a evolução da urna.

P=21/192≈0,109

Obs.: O produto representa o caminho único em que todas as escolhas foram pretas. Cada fator corresponde a uma etapa da árvore de possibilidades.

Multiplicar é necessário porque estamos lidando com a probabilidade de eventos sucessivos (um E outro E outro).

Somamos probabilidades quando os eventos são mutuamente excludentes — ou seja, quando um OU outro pode acontecer, mas não os dois ao mesmo tempo. Se somássemos, estaríamos calculando “preta no 1º OU preta no 2º OU preta no 3º”, o que não corresponde ao enunciado. O problema pede que todas sejam pretas, e por isso usamos multiplicação.

Assim, o diagrama em árvore ajuda a visualizar que o resultado final é a multiplicação das probabilidades ao longo do caminho escolhido.

Gabarito: D