Questões de Concurso
Comentadas sobre big data em banco de dados
Foram encontradas 358 questões
A principal característica arquitetural que define o conceito de Data Lakehouse, diferenciando-o das abordagens tradicionais isoladas de Data Warehouse e Data Lake é a
I – Big data é um conjunto de dados maior e mais complexo, especialmente de novas fontes de dados. Esses conjuntos de dados são tão volumosos que o software tradicional de processamento de dados normalmente não consegue gerenciá-los.
II – Velocidade é a taxa mais rápida na qual os dados são recebidos e talvez administrados. Normalmente, a velocidade mais alta dos dados é transmitida diretamente para a memória, em vez de ser gravada no disco.
III – Variedade refere-se aos vários tipos de dados disponíveis. Tipos de dados tradicionais foram estruturados e se adequam perfeitamente a um banco de dados relacional.
IV – As soluções de Big Data são feitas para lidar com um grande volume de dados estruturados que obrigatoriamente têm relação entre si.
V – Por conta do grande volume de dados e complexidade envolvidos, as soluções Big Data apresentam um grau relativamente baixo de confiabilidade.
Estão INCORRETAS as afirmações:
Considerando os conceitos de processamento de fluxo contínuo (streaming), semântica de tempo e mecanismos de tratamento de dados atrasados, é correto afirmar que:
• Transacional e BI: o sistema de vendas gera registros financeiros que exigem consistência estrita (ACID). A equipe de analistas de negócios consome esses dados via painéis de BI que demandam baixa latência em consultas complexas com múltiplas junções (joins).
• Big Data e IA: o sistema de e-commerce gera petabytes de logs de navegação (clickstream) e dados de sensores IoT das lojas físicas (dados semiestruturados). A equipe de ciência de dados precisa acessar esses dados em seu formato bruto para treinar modelos preditivos, sem a perda de informações causada por agregações prematuras.
O arquiteto de dados precisa propor uma solução única que evite a duplicação de dados entre silos (um Data Warehouse para o BI e um Data Lake para a IA) e reduza o custo de armazenamento, mantendo a governança.
Considerando os requisitos apresentados e as características das arquiteturas modernas de dados, a abordagem arquitetural e de modelagem adequada é:
( ) Os Data Lakes fundamentam-se no conceito de schema-onread, permitindo o armazenamento de dados em seu formato bruto sem a necessidade de uma estrutura rígida no momento da ingestão.
( ) Os Data Warehouses operam sob o modelo de schema-onwrite, exigindo que os dados sejam transformados e estruturados conforme um esquema definido antes de sua carga e disponibilização para consulta.
( ) Os Data Lakes são repositórios projetados exclusivamente para o armazenamento de dados não estruturados, sendo tecnicamente incompatíveis para dados estruturados provenientes de sistemas transacionais.
As afirmativas são, respectivamente,
A seguinte técnica avançada de otimização no Spark 3.x permite ao motor de execução identificar esse desequilíbrio em tempo de execução e dividir a partição sobrecarregada em subtarefas menores:
A operação do Spark conhecida por causar esse fenômeno de Shuffle e que deve ser utilizada com cautela em grandes datasets é:
O Portal da Transparência do Governo Federal precisa lidar com um volume massivo e crescente de dados heterogêneos, como despesas, receitas, contratos e informações sobre servidores. A arquitetura de dados atual, baseada em um modelo puramente relacional, enfrenta desafios de desempenho e flexibilidade para incorporar novas fontes de dados.
Analise as seguintes proposições sobre a aplicação de bancos de dados NoSQL para solucionar os desafios do Portal da Transparência:
I. Bancos de dados relacionais são inerentemente superiores aos NoSQL para cenários de Big Data e dados heterogêneos, pois a rigidez do esquema e o suporte a transações ACID garantem melhor desempenho em consultas analíticas complexas.
II. A adoção de um banco de dados NoSQL orientado a documentos permitiria armazenar os dados de cada fonte (despesas, contratos, etc.) em seus formatos originais (JSON, por exemplo), facilitando a ingestão e a evolução do modelo de dados sem a necessidade de migrações de esquema complexas.
III. A escalabilidade horizontal, uma característica comum em muitos SGBDs NoSQL, seria um benefício chave, permitindo que a infraestrutura do portal cresça de forma mais elástica e com menor custo para acompanhar o aumento do volume de dados e do número de acessos.
Está correto o que se afirma em:
Para lidar com o grande volume e a complexidade dos dados do Big Data, foram desenvolvidas tecnologias e frameworks específicos, que superam as limitações dos sistemas de bancos de dados tradicionais. Um analista de dados de um órgão de pesquisa precisa processar um grande conjunto de dados não estruturados.
Analise as seguintes proposições sobre as tecnologias de Big Data:
I. O Hadoop é um framework de código aberto que permite o processamento distribuído de grandes conjuntos de dados em clusters de computadores. Seus componentes principais são o HDFS (Hadoop Distributed File System), para armazenamento distribuído, e o MapReduce, para o processamento paralelo.
II. O MapReduce é um modelo de programação onde a tarefa é dividida em duas fases: a fase 'Map', que processa e mapeia os dados de entrada em pares de chave-valor, e a fase 'Reduce', que agrega os resultados intermediários da fase 'Map' para produzir o resultado final.
III. O Spark é outro framework de processamento distribuído que, embora compatível com o ecossistema Hadoop, é conhecido por ser significativamente mais rápido, pois realiza o processamento em memória (in-memory), sendo ideal para aplicações de aprendizado de máquina e processamento de dados em tempo real.
Está correto o que se afirma em:
I. O Snowflake processa consultas usando clusters de computação MPP.
II. Cada warehouse virtual é um cluster de computação independente que não compartilha recursos computacionais com outros warehouses virtuais.
III. A autenticação é um serviço que é gerenciado dentro da camada de serviços de nuvem.
IV. A arquitetura do Snowflake consiste em três camadas principais, sendo elas: armazenamento de banco de dados; dimensionamento de consultas e serviços de nuvem.