GPUs dependem principalmente de grandes caches L1 e L2 para ocultar latência de memória e manter alto desempenho, pois sua estratégia central de projeto é maximizar a taxa de acertos em cache.

GPUs são projetadas como arquiteturas SIMD massivamente paralelas, otimizadas para executar muitas operações de ponto flutuante em paralelo; por isso alcançam níveis de FLOPs por segundo muito maiores que CPUs para cargas altamente paralelizáveis.

GPUs escondem a latência de memória mantendo um grande número de threads/warps ativos (over-subscription): ao agendar muitos threads, a GPU mantém os ALUs ocupados enquanto uns aguardam acesso à memória.

o uso de GPUs como coprocessadores (GPGPU) é mais vantajoso quando partes relevantes do programa são altamente paralelizáveis.