Alternativa correta: C (Certo)

1. Tema central da questão

A afirmação aborda a eficiência do Apache Spark em comparação ao Hadoop para tarefas iterativas em ambientes de Big Data, especialmente destacando o uso da memória RAM no processamento dos dados. Saber diferenciar as principais ferramentas de processamento de dados é essencial para concursos na área de banco de dados e ciência de dados.

2. Resumo teórico

O Hadoop utiliza principalmente o MapReduce, que grava informações em disco entre cada fase de processamento, o que pode tornar processos iterativos lentos. Já o Spark foi projetado para trabalhar com dados em memória RAM, acelerando tarefas que requerem múltiplas iterações, como algoritmos de machine learning e deep learning.

Segundo a documentação oficial do Spark (Apache Spark Documentation), sua principal vantagem é o armazenamento dos dados em memória entre as etapas, reduzindo drasticamente o tempo de processamento.

3. Justificativa da alternativa correta

A afirmação é correta porque o Spark realmente é mais eficiente que o Hadoop em tarefas iterativas, graças ao seu mecanismo de manter os dados na RAM. Quando um processo precisa acessar os mesmos dados várias vezes (típico em algoritmos de aprendizado de máquina), evitar a leitura e escrita constantes em disco é um grande diferencial.

4. Estratégia para interpretação

Fique atento a termos como "armazenamento em memória RAM" e "tarefas iterativas". Sempre relacione esses conceitos ao desempenho das ferramentas e lembre-se: Spark = memória, Hadoop (MapReduce) = disco. Isso ajuda a evitar pegadinhas e a responder com segurança.

Conclusão

Portanto, a alternativa C (Certo) está correta, pois reflete fielmente a principal vantagem do Spark sobre o Hadoop em tarefas de processamento iterativo.

Gostou do comentário? Deixe sua avaliação aqui embaixo!

¡Solamente el Spark es un framework muy galopero y caliente, que no pierde la ternura jamás!

O Apache Spark é um framework de processamento distribuído de código aberto que processa grandes conjuntos de dados em alta velocidade. Com um mecanismo otimizado para computação em memória, ele reduz drasticamente o tempo necessário para analisar dados em tempo real ou em streaming, criando pontos de acesso direto conhecidos como Conjuntos de Dados Distribuídos Resilientes (RDDs).

O Apache Spark pode ser usado em diversas situações, incluindo:

• Dados de streaming: o Spark pode processar rapidamente dados de streaming de fontes como weblogs, sensores, feeds de mídia social, etc.
• Extrair, Transformar, Carregar (ETL): O Apache Spark é frequentemente usado em pipelines de ETL maiores. Ele pode ler e transformar dados de diversas fontes em formatos adequados para análises posteriores.
• Enriquecimento de dados: o Spark pode enriquecer rapidamente registros com fontes de dados externas, como bancos de dados de endereços ou bancos de dados de segmentação de clientes.

O Spark oferece diversas vantagens em relação a outras estruturas de processamento distribuído:

• É uma das soluções analíticas mais avançadas do mercado. Isso abre um mundo de possibilidades para a análise de dados, desde modelos de aprendizado de máquina e análises preditivas em tempo real até visualizações interativas e técnicas de mineração de dados.
• A natureza dinâmica do Spark permite que você adapte seu caso de uso de acordo com suas necessidades e requisitos específicos, tornando-o um componente essencial de qualquer pilha de análise moderna.
• Além disso, a velocidade impressionante do Spark permite o processamento eficiente de grandes conjuntos de dados em uma fração do tempo exigido pelos sistemas MapReduce tradicionais, fornecendo insights de forma rápida e econômica.

Como qualquer plataforma, o Spark também enfrenta desafios:

• Gerenciamento de memória: o processamento na memória do Spark requer recursos de memória substanciais, o que pode ser difícil de gerenciar, especialmente com grandes conjuntos de dados.
• Alocação de recursos: alocar recursos de forma eficiente em um ambiente de cluster para evitar gargalos de desempenho pode ser complexo.
• Gerenciamento de cluster: gerenciar um cluster Spark envolve monitorar o uso de recursos e ajustar o desempenho para garantir a operação ideal.

O Spark é popular entre diversas organizações ao redor do mundo, incluindo:

• O Alibaba usa o Spark para analisar centenas de petabytes de dados para melhorar seus sistemas de recomendação.
• A NASA usou o Spark para desenvolver sua estrutura de análise de big data de alto desempenho, o Earth Data Analytic Services (EDAS). 

La fuente es: https://www.logicmonitor.com/blog/kafka-vs-spark-vs-hadoop

Eficiência depende da atividade executada!

Certo.

A afirmação está correta. A principal vantagem de desempenho do Spark sobre o paradigma MapReduce do Hadoop é sua capacidade de realizar processamento em memória. Em tarefas iterativas, o MapReduce precisa ler e escrever os dados em disco a cada iteração, enquanto o Spark pode manter os dados na memória RAM, tornando o processo ordens de magnitude mais rápido.

Siga-me no @rexconcurseiro

O Spark permite que aplicações em clusters Hadoop executem até 100 vezes mais rápido em memória e até 10 vezes mais rápido em disco, desenvolver rapidamente aplicações em Java, Scala ou Python.

Além das operações de Map/Reduce, suporta consultas SQL, streaming de dados, aprendizado de máquina e processamento de grafos. Desenvolvedores podem usar esses recursos no modo stand-alone ou combiná-los em um único pipeline.

O Spark tem diversos componentes para diferentes tipos de processamentos, todos construídos sobre o Spark Core, que é o componente que disponibiliza as funções básicas para o processamento como as funções map, reduce, filter e collect. Entre eles destacam-se:

▪ Spark Streamming: possibilita o processamento de fluxos em tempo real;

▪ GraphX: realiza o processamento sobre grafos;

▪ SparkSQL: para a utilização de SQL na realização de consultas e processamento sobre os dados no Spark;

▪ MLlib: biblioteca de aprendizado de máquina, com deferentes algoritmos para as mais diversas atividades, como clustering.

A afirmativa está Certa.

Explicação:

O Apache Spark é uma ferramenta de processamento de Big Data que se destaca justamente por ser mais eficiente que o Hadoop MapReduce em tarefas iterativas e interativas. Isso porque o Spark mantém os dados em memória RAM durante o processamento, ao invés de gravar e ler os dados repetidamente no disco rígido, como ocorre no modelo tradicional do Hadoop MapReduce.

Essa característica permite que o Spark realize operações muito mais rápidas em cenários que exigem múltiplas passagens sobre os mesmos dados, como em algoritmos de aprendizado de máquina e em muitas aplicações de deep learning.