O gradiente descendente é um algoritmo de otimização de redes neurais em que a derivada da função de otimização leva a direção mais baixa do gráfico da função de custo. 

A ideia da Regularização é adicionar um termo extra à função de custo. Intuitivamente, o efeito da regularização é fazer com que a rede prefira aprender pesos pequenos, minimizando a função de custo. 

O momento acumula pesos anteriores para estabilizar a convergência da rede; o objetivo é ajudar a desviar de mínimos locais e pode acelerar treinamento em regiões muito planas da superfície de erro.

O algoritmo de otimização ADAM guarda, além dos valores dos pesos passados, o decaimento exponencial da média de gradientes passados e possui o mesmo objetivo do momento.

A regularização L1 transforma valores pequenos em zeros e, consequentemente, permite reduzir o número de pesos, enquanto a regularização L2 procura manter todos os pesos pequenos de forma que maximiza a função de custo.