Em programação paralela, existem dois paradigmas principais de comunicação: memória compartilhada, em que todos os processadores utilizam o mesmo espaço de endereçamento e se comunicam por meio de informações compartilhadas armazenadas na memória, e o paradigma de troca de mensagens, em que cada processador trabalha com espaços de endereçamento próprios independentes. Sistemas embasados na troca de mensagens são, em geral, mais complexos para se programar, mas têm a vantagem da escalabilidade, ou seja, são mais simples de expandir para aumentar a sua capacidade de processamento.