Extrair conhecimento útil ou insights de dados massivos é um dos maiores desafios enfrentado pelos cientistas de dados. Uma das principais tarefas utilizadas para diminuir a complexidade desses dados é reduzir sua dimensionalidade preservando as características (features) mais importantes.

No ciclo de vida de ciência de dados, a tarefa de redução de dimensionalidade dos dados é executada na fase:

Maria, analista de mercado da CVM, precisa analisar milhares de negociações financeiras para obter insights e tomar decisões ao longo do dia. Maria apresentou a demanda para Tiago, o arquiteto de big data da CVM.

Para processar as negociações financeiras como uma sequência de eventos no tempo, agrupando e filtrando os dados à medida que são capturados, o componente da arquitetura de big data que Tiago deve desenvolver é o: