Redes neurais são uma classe de modelos que são construídos com camadas, entre as quais as mais comumente utilizadas incluem redes neurais convolucionais (CNN) e recorrentes (RNN). Funções de ativação (activation function) são usadas no fim de uma unidade escondida para introduzir complexidades não lineares ao modelo. Assinalar a alternativa que se refere à função de ativação que tem sido mais utilizada em Deep Learning, por facilitar o processo de treinamento, por não saturar a partir de um determinado ponto, e ser simplesmente a função identidade para valores positivos: