Muitos desafios devem ser superados na criação e manutenção ...
Segundo Ramakrishnan (2008), quais os processos de criação e manutenção de um ambiente de Data Warehouse?
Comentários
Veja os comentários dos nossos alunos
Extração -> Busca os dados de diversas fontes (API, Banco de dados, etc.).
Limpeza -> Remove duplicatas, ajusta alguns erros identificáveis/conhecidos pela fonte.
Transformação -> Ajusta formatação dos campos (se onde vai ser armazenado só aceita datas no formato MM/DD/YYYY, aqui que ocorre esse ajuste) e outros processamentos necessários.
Carregamento -> Armazenamento em compartimento de dados estruturados* como um Data Warehouse.
Atualização -> Dependendo muito do que você está armazenando você modifica os registros já armazenados (que veio novamente na coleta, chamamos isso de um UPSERT - atualização como inserção), ou você cria uma linha temporal daquele determinado registro, isto é, um novo registro com a informação atualizada e marca a linha antiga como "antiga" ou algo do tipo.
*Data Warehouse fornece armazenamento para dados ESTRUTURADOS, enquanto Data Lake fornece armazenamento para SEMI/ESTRUTURADOS.
Clique para visualizar este comentário
Visualize os comentários desta questão clicando no botão abaixo