Questões de Concurso
Sobre big data em banco de dados
Foram encontradas 406 questões
Analise as afirmativas a seguir e assinale (V) para a verdadeira e (F) para a falsa.
( ) O Hadoop MapReduce grava dados intermediários em disco entre as fases de Map e Reduce, enquanto o Spark processa e retém dados preferencialmente na memória RAM.
( ) No Apache Spark, as transformações disparam imediatamente a computação física no cluster, enquanto as ações apenas registram as etapas no Grafo Acíclico Dirigido (DAG).
( ) A tolerância a falhas no HDFS ocorre pela replicação de blocos em múltiplos nós, enquanto no Spark ela se baseia no histórico de linhagem (lineage) para reconstituir partições perdidas.
As afirmativas são, respectivamente,
Relacione as características de Big Data apresentadas a seguir às respectivas situações.
1. Volume
2. Velocidade
3. Variedade
( ) Necessidade de processar continuamente eventos produzidos pelos sistemas, de modo que determinadas informações estejam disponíveis após sua geração.
( ) Existência de dados provenientes de tabelas de bancos relacionais, arquivos de texto, registros de eventos, documentos digitalizados e imagens.
( ) Crescimento da quantidade de dados armazenados, exigindo infraestrutura capaz de processar e manter conjuntos de dados de grande dimensão.
Assinale a opção que indica a relação correta, segundo a ordem apresentada.
Com relação a processamento analítico, data warehouse e tecnologias de Big Data, julgue o item subsequente.
O Hadoop implementa o modelo de programação MapReduce para processamento distribuído de grandes volumes de dados, utilizando o HDFS para armazenamento distribuído com replicação de blocos de dados em múltiplos nós, garantindo tolerância a falhas e alta disponibilidade em clusters.
Para apoiar as atividades de fiscalização, a equipe pretende
I. tratar esse cenário de grande volume, variedade de fontes e produção contínua de dados;
II. manter os dados recebidos em um repositório que permita armazená-los em seus formatos originais, antes de tratamentos destinados a análises específicas;
III. executar um processo que obtenha os dados das fontes, realize as transformações necessárias e os carregue no ambiente definido para utilização.
Os conceitos que correspondem às situações I, II e III são, respectivamente,
Considere que uma secretaria esteja planejando implementar uma plataforma de Big Data para integrar sistemas transacionais e dados não estruturados em um data lake, visando promover análises históricas e em tempo real. A partir dessa situação hipotética e considerando as estratégias de administração de dados e os metadados, julgue o item a seguir.
A adoção do conceito de schema-on-read em ambientes de Big Data pressupõe que os dados sejam persistidos em seu formato original, sem a validação rígida de esquemas no momento da ingestão, sendo essa uma abordagem na qual a estrutura e a semântica dos dados são aplicadas apenas no momento da leitura, o que oferece maior flexibilidade para lidar com dados não estruturados.
Considere que uma secretaria esteja planejando implementar uma plataforma de Big Data para integrar sistemas transacionais e dados não estruturados em um data lake, visando promover análises históricas e em tempo real. A partir dessa situação hipotética e considerando as estratégias de administração de dados e os metadados, julgue o item a seguir.
No modelo ELT (extract, load, transform), a carga dos dados no repositório ocorre antes da aplicação de transformações estruturais, permitindo que o ambiente de destino atue como motor de processamento e simplificando a arquitetura ao dispensar camadas de staging externas para a manipulação prévia dos dados.
Considere que uma secretaria esteja planejando implementar uma plataforma de Big Data para integrar sistemas transacionais e dados não estruturados em um data lake, visando promover análises históricas e em tempo real. A partir dessa situação hipotética e considerando as estratégias de administração de dados e os metadados, julgue o item a seguir.
Em ambientes de Big Data, os metadados técnicos (como esquemas e tipos de dados) são insuficientes para garantir a correta utilização das informações por usuários de negócio, sendo necessária, para a governança eficaz, a integração de metadados de negócio, como glossários e definições de domínio, para conferir contexto e significado aos dados armazenados.
Considere que uma secretaria esteja planejando implementar uma plataforma de Big Data para integrar sistemas transacionais e dados não estruturados em um data lake, visando promover análises históricas e em tempo real. A partir dessa situação hipotética e considerando as estratégias de administração de dados e os metadados, julgue o item a seguir.
A técnica de CDC (change data capture) baseada em logs permite identificar alterações no banco de dados de origem sem sobrecarregar as tabelas de produção com consultas constantes, abordagem que dispensa a inclusão de colunas de controle, como timestamps, nos esquemas originais dos sistemas de arrecadação.
A principal característica arquitetural que define o conceito de Data Lakehouse, diferenciando-o das abordagens tradicionais isoladas de Data Warehouse e Data Lake é a
I. O Hadoop MapReduce é um framework de software que facilita a criação de aplicações para processar vastas quantidades de dados (datasets de múltiplos terabytes) em paralelo, utilizando grandes clusters (milhares de nós) de hardware comum, de maneira confiável e tolerante a falhas.
II. O Hadoop Distributed File System (HDFS) é um sistema de arquivos distribuído, projetado para ser executado em hardware comum.
III. A ideia fundamental do YARN é dividir as funcionalidades de gerenciamento de recursos e o agendamento/monitoramento de tarefas em daemons distintos.
Está correto o que se afirma em
A INFRA S.A. passou a lidar com grandes volumes de dados heterogêneos oriundos de sensores de campo, relatórios de fiscalização, sistemas legados e bases externas. Para ampliar a capacidade analítica, a empresa pública adotou um ecossistema baseado em Apache Hadoop para armazenamento e processamento distribuído, integrando os dados consolidados a dashboards interativos desenvolvidos na ferramenta Qlik, voltados à alta gestão e a órgãos de controle. Com o objetivo de aprimorar a comunicação dos resultados analíticos, a INFRA S.A. também incorporou práticas de storytelling com dados, buscando transformar análises técnicas complexas em narrativas compreensíveis para gestores não técnicos, mantendo rigor informacional e rastreabilidade.
A partir da situação hipotética precedente, julgue os itens a seguir.
Considerando os conceitos de processamento de fluxo contínuo (streaming), semântica de tempo e mecanismos de tratamento de dados atrasados, é correto afirmar que:
• Transacional e BI: o sistema de vendas gera registros financeiros que exigem consistência estrita (ACID). A equipe de analistas de negócios consome esses dados via painéis de BI que demandam baixa latência em consultas complexas com múltiplas junções (joins).
• Big Data e IA: o sistema de e-commerce gera petabytes de logs de navegação (clickstream) e dados de sensores IoT das lojas físicas (dados semiestruturados). A equipe de ciência de dados precisa acessar esses dados em seu formato bruto para treinar modelos preditivos, sem a perda de informações causada por agregações prematuras.
O arquiteto de dados precisa propor uma solução única que evite a duplicação de dados entre silos (um Data Warehouse para o BI e um Data Lake para a IA) e reduza o custo de armazenamento, mantendo a governança.
Considerando os requisitos apresentados e as características das arquiteturas modernas de dados, a abordagem arquitetural e de modelagem adequada é:
Acerca do armazenamento de Big Data, do pipeline de dados e dos conceitos de data lake, julgue o item subsequente.
O armazenamento orientado a objetos é incompatível com data lakes devido à natureza dos dados armazenados.
Acerca do armazenamento de Big Data, do pipeline de dados e dos conceitos de data lake, julgue o item subsequente.
Em pipelines de dados, a etapa de ingestão corresponde ao processo de eliminação permanente dos dados de origem após o carregamento no ambiente analítico.
Conheça nossos planos