Assinale a opção correta no que se refere a dados estruturados e não estruturados, bem como a coleta, tratamento, armazenamento, integração e recuperação de dados.

Uma instituição financeira está implementando um sistema de detecção de fraudes em tempo real para processar transações de cartões de crédito originadas em dispositivos móveis globalmente. Devido à instabilidade de conectividade das redes móveis, os eventos de transação frequentemente chegam ao cluster de processamento fora de ordem e com atrasos variáveis (late arriving data). O requisito de negócio exige que as agregações de volume financeiro sejam calculadas com precisão determinística, baseando-se no momento exato em que a compra ocorreu, e não no momento em que o dado foi recebido pelo servidor, garantindo consistência mesmo em casos de reprocessamento histórico.

Considerando os conceitos de processamento de fluxo contínuo (streaming), semântica de tempo e mecanismos de tratamento de dados atrasados, é correto afirmar que: 

Uma corporação multinacional do setor de varejo está unificando suas plataformas de dados. O cenário atual apresenta dois desafios distintos, indicados a seguir.

• Transacional e BI: o sistema de vendas gera registros financeiros que exigem consistência estrita (ACID). A equipe de analistas de negócios consome esses dados via painéis de BI que demandam baixa latência em consultas complexas com múltiplas junções (joins).
• Big Data e IA: o sistema de e-commerce gera petabytes de logs de navegação (clickstream) e dados de sensores IoT das lojas físicas (dados semiestruturados). A equipe de ciência de dados precisa acessar esses dados em seu formato bruto para treinar modelos preditivos, sem a perda de informações causada por agregações prematuras.

O arquiteto de dados precisa propor uma solução única que evite a duplicação de dados entre silos (um Data Warehouse para o BI e um Data Lake para a IA) e reduza o custo de armazenamento, mantendo a governança.

Considerando os requisitos apresentados e as características das arquiteturas modernas de dados, a abordagem arquitetural e de modelagem adequada é:

Com relação às arquiteturas de armazenamento e processamento de dados em larga escala, analise as afirmativas a seguir e assinale (V) para verdadeira e (F) para falsa.

( ) Os Data Lakes fundamentam-se no conceito de schema-onread, permitindo o armazenamento de dados em seu formato bruto sem a necessidade de uma estrutura rígida no momento da ingestão.
( ) Os Data Warehouses operam sob o modelo de schema-onwrite, exigindo que os dados sejam transformados e estruturados conforme um esquema definido antes de sua carga e disponibilização para consulta.
( ) Os Data Lakes são repositórios projetados exclusivamente para o armazenamento de dados não estruturados, sendo tecnicamente incompatíveis para dados estruturados provenientes de sistemas transacionais.

As afirmativas são, respectivamente,

Um pipeline de dados do TCE-SC processa bilhões de registros de notas fiscais usando Spark SQL. O Auditor nota um problema de desbalanceamento de dados no qual um único executor demora muito mais que os outros para completar uma operação de Join, pois uma chave específica possui muito mais registros que as demais.
A seguinte técnica avançada de otimização no Spark 3.x permite ao motor de execução identificar esse desequilíbrio em tempo de execução e dividir a partição sobrecarregada em subtarefas menores: 

Um Auditor está montando um fluxo de dados que extrai informações de um banco de dados SQL, de notas fiscais eletrônicas em formato JSON e de relatórios em PDF com texto livre.

Assinale a opção que indica a classificação desses três tipos de dados, respectivamente.

Observando um órgão estadual que integra NF-e, EFD/SPED, logs de sistemas, dados semiestruturados de convênios e arquivos em múltiplos formatos, preservando os dados no formato original para usos analíticos futuros, a característica arquitetural que define um data lake no cenário descrito é

O Portal da Transparência do Governo Federal precisa lidar com um volume massivo e crescente de dados heterogêneos, como despesas, receitas, contratos e informações sobre servidores. A arquitetura de dados atual, baseada em um modelo puramente relacional, enfrenta desafios de desempenho e flexibilidade para incorporar novas fontes de dados.

Analise as seguintes proposições sobre a aplicação de bancos de dados NoSQL para solucionar os desafios do Portal da Transparência: 

I. Bancos de dados relacionais são inerentemente superiores aos NoSQL para cenários de Big Data e dados heterogêneos, pois a rigidez do esquema e o suporte a transações ACID garantem melhor desempenho em consultas analíticas complexas.

 II. A adoção de um banco de dados NoSQL orientado a documentos permitiria armazenar os dados de cada fonte (despesas, contratos, etc.) em seus formatos originais (JSON, por exemplo), facilitando a ingestão e a evolução do modelo de dados sem a necessidade de migrações de esquema complexas.

III. A escalabilidade horizontal, uma característica comum em muitos SGBDs NoSQL, seria um benefício chave, permitindo que a infraestrutura do portal cresça de forma mais elástica e com menor custo para acompanhar o aumento do volume de dados e do número de acessos.

Está correto o que se afirma em:

Para lidar com o grande volume e a complexidade dos dados do Big Data, foram desenvolvidas tecnologias e frameworks específicos, que superam as limitações dos sistemas de bancos de dados tradicionais. Um analista de dados de um órgão de pesquisa precisa processar um grande conjunto de dados não estruturados.

Analise as seguintes proposições sobre as tecnologias de Big Data:

I. O Hadoop é um framework de código aberto que permite o processamento distribuído de grandes conjuntos de dados em clusters de computadores. Seus componentes principais são o HDFS (Hadoop Distributed File System), para armazenamento distribuído, e o MapReduce, para o processamento paralelo.

II. O MapReduce é um modelo de programação onde a tarefa é dividida em duas fases: a fase 'Map', que processa e mapeia os dados de entrada em pares de chave-valor, e a fase 'Reduce', que agrega os resultados intermediários da fase 'Map' para produzir o resultado final.

III. O Spark é outro framework de processamento distribuído que, embora compatível com o ecossistema Hadoop, é conhecido por ser significativamente mais rápido, pois realiza o processamento em memória (in-memory), sendo ideal para aplicações de aprendizado de máquina e processamento de dados em tempo real.

Está correto o que se afirma em: 

Um Analista de Sistemas, que atua em uma agência de fomento vinculada ao setor governamental, está trabalhando com o Hadoop para processar e analisar grandes volumes de dados armazenados no HDFS (Hadoop Distributed File System). Ele precisa consultar esses dados de forma rápida e eficiente, utilizando uma linguagem semelhante ao SQL (Structured Query Language) para extrair informações agregadas e gerar relatórios. Considerando esse contexto, assinale a alternativa que apresenta duas ferramentas do Hadoop capazes de consultar grandes volumes de dados no HDFS, usando uma linguagem semelhante ao SQL (HiveQL/SQL):