Questões de Concurso
Comentadas sobre big data em banco de dados
Foram encontradas 364 questões
Analise as afirmativas a seguir e assinale (V) para a verdadeira e (F) para a falsa.
( ) O Hadoop MapReduce grava dados intermediários em disco entre as fases de Map e Reduce, enquanto o Spark processa e retém dados preferencialmente na memória RAM.
( ) No Apache Spark, as transformações disparam imediatamente a computação física no cluster, enquanto as ações apenas registram as etapas no Grafo Acíclico Dirigido (DAG).
( ) A tolerância a falhas no HDFS ocorre pela replicação de blocos em múltiplos nós, enquanto no Spark ela se baseia no histórico de linhagem (lineage) para reconstituir partições perdidas.
As afirmativas são, respectivamente,
Relacione as características de Big Data apresentadas a seguir às respectivas situações.
1. Volume
2. Velocidade
3. Variedade
( ) Necessidade de processar continuamente eventos produzidos pelos sistemas, de modo que determinadas informações estejam disponíveis após sua geração.
( ) Existência de dados provenientes de tabelas de bancos relacionais, arquivos de texto, registros de eventos, documentos digitalizados e imagens.
( ) Crescimento da quantidade de dados armazenados, exigindo infraestrutura capaz de processar e manter conjuntos de dados de grande dimensão.
Assinale a opção que indica a relação correta, segundo a ordem apresentada.
Para apoiar as atividades de fiscalização, a equipe pretende
I. tratar esse cenário de grande volume, variedade de fontes e produção contínua de dados;
II. manter os dados recebidos em um repositório que permita armazená-los em seus formatos originais, antes de tratamentos destinados a análises específicas;
III. executar um processo que obtenha os dados das fontes, realize as transformações necessárias e os carregue no ambiente definido para utilização.
Os conceitos que correspondem às situações I, II e III são, respectivamente,
A principal característica arquitetural que define o conceito de Data Lakehouse, diferenciando-o das abordagens tradicionais isoladas de Data Warehouse e Data Lake é a
Considerando os conceitos de processamento de fluxo contínuo (streaming), semântica de tempo e mecanismos de tratamento de dados atrasados, é correto afirmar que:
• Transacional e BI: o sistema de vendas gera registros financeiros que exigem consistência estrita (ACID). A equipe de analistas de negócios consome esses dados via painéis de BI que demandam baixa latência em consultas complexas com múltiplas junções (joins).
• Big Data e IA: o sistema de e-commerce gera petabytes de logs de navegação (clickstream) e dados de sensores IoT das lojas físicas (dados semiestruturados). A equipe de ciência de dados precisa acessar esses dados em seu formato bruto para treinar modelos preditivos, sem a perda de informações causada por agregações prematuras.
O arquiteto de dados precisa propor uma solução única que evite a duplicação de dados entre silos (um Data Warehouse para o BI e um Data Lake para a IA) e reduza o custo de armazenamento, mantendo a governança.
Considerando os requisitos apresentados e as características das arquiteturas modernas de dados, a abordagem arquitetural e de modelagem adequada é:
( ) Os Data Lakes fundamentam-se no conceito de schema-onread, permitindo o armazenamento de dados em seu formato bruto sem a necessidade de uma estrutura rígida no momento da ingestão.
( ) Os Data Warehouses operam sob o modelo de schema-onwrite, exigindo que os dados sejam transformados e estruturados conforme um esquema definido antes de sua carga e disponibilização para consulta.
( ) Os Data Lakes são repositórios projetados exclusivamente para o armazenamento de dados não estruturados, sendo tecnicamente incompatíveis para dados estruturados provenientes de sistemas transacionais.
As afirmativas são, respectivamente,
A seguinte técnica avançada de otimização no Spark 3.x permite ao motor de execução identificar esse desequilíbrio em tempo de execução e dividir a partição sobrecarregada em subtarefas menores:
A operação do Spark conhecida por causar esse fenômeno de Shuffle e que deve ser utilizada com cautela em grandes datasets é:
O Portal da Transparência do Governo Federal precisa lidar com um volume massivo e crescente de dados heterogêneos, como despesas, receitas, contratos e informações sobre servidores. A arquitetura de dados atual, baseada em um modelo puramente relacional, enfrenta desafios de desempenho e flexibilidade para incorporar novas fontes de dados.
Analise as seguintes proposições sobre a aplicação de bancos de dados NoSQL para solucionar os desafios do Portal da Transparência:
I. Bancos de dados relacionais são inerentemente superiores aos NoSQL para cenários de Big Data e dados heterogêneos, pois a rigidez do esquema e o suporte a transações ACID garantem melhor desempenho em consultas analíticas complexas.
II. A adoção de um banco de dados NoSQL orientado a documentos permitiria armazenar os dados de cada fonte (despesas, contratos, etc.) em seus formatos originais (JSON, por exemplo), facilitando a ingestão e a evolução do modelo de dados sem a necessidade de migrações de esquema complexas.
III. A escalabilidade horizontal, uma característica comum em muitos SGBDs NoSQL, seria um benefício chave, permitindo que a infraestrutura do portal cresça de forma mais elástica e com menor custo para acompanhar o aumento do volume de dados e do número de acessos.
Está correto o que se afirma em:
Para lidar com o grande volume e a complexidade dos dados do Big Data, foram desenvolvidas tecnologias e frameworks específicos, que superam as limitações dos sistemas de bancos de dados tradicionais. Um analista de dados de um órgão de pesquisa precisa processar um grande conjunto de dados não estruturados.
Analise as seguintes proposições sobre as tecnologias de Big Data:
I. O Hadoop é um framework de código aberto que permite o processamento distribuído de grandes conjuntos de dados em clusters de computadores. Seus componentes principais são o HDFS (Hadoop Distributed File System), para armazenamento distribuído, e o MapReduce, para o processamento paralelo.
II. O MapReduce é um modelo de programação onde a tarefa é dividida em duas fases: a fase 'Map', que processa e mapeia os dados de entrada em pares de chave-valor, e a fase 'Reduce', que agrega os resultados intermediários da fase 'Map' para produzir o resultado final.
III. O Spark é outro framework de processamento distribuído que, embora compatível com o ecossistema Hadoop, é conhecido por ser significativamente mais rápido, pois realiza o processamento em memória (in-memory), sendo ideal para aplicações de aprendizado de máquina e processamento de dados em tempo real.
Está correto o que se afirma em: