Agrupar arquivos e informações relevantes em um ambiente seguro e de fácil acesso. Essa é a definição de armazenamento de dados. Em um cenário onde os dados se tornam cada vez mais valiosos para as marcas, entender as melhores maneiras de armazená-los é fundamental. Dentro dessas possibilidades estão o Data Lake e o Data Warehouse.

• – Data Driven Marketing: como tratar os dados das suas iniciativas digitais
  – 6 mitos e verdades sobre Mídia Programática
  – 15 aplicações da Inteligência Artificial no marketing

Antes de explicar melhor cada um deles, vale citar que o processo de gestão de dados se divide em 3 etapas chamadas de ETL: Extract (extração), Transform (transformação) e Load (carregamento).

>> Extração: processo de extrair dados de diferentes sistemas respeitando suas respectivas características e abrigá-las em um espaço temporário

>> Transformação: as informações passam por uma manipulação para que apresentem uma visão mais unificada e padronizada (nem sempre é uma etapa necessária. Veremos a frente o porquê).

>> Carregamento: os dados são enviados para um local seguro de acordo com a necessidade do business. É nesse momento que a decisão de migrá-los para um Data Warehouse ou Data Lake deve ser tomada.

O Data Lake

O Data Lake é o repositório perfeito para quem precisa abrigar qualquer tipo de dados em qualquer escala. Dashboards, dados em tempo real, analytics, planilhas, informações de machine learning… enfim. Não há restrições para a ferramenta.

Por isso o nome “Lago de Dados”. Para abrigar informações no Data Lake, pode-se dispensar, inclusive, a etapa de tratamento de dados, já que a proposta de quem o utiliza é abrigar e ter acesso a um número elevadíssimo de dados brutos de categorias diferentes em um só lugar. Big Data!

Principais benefícios do Data Lake

>> Abriga qualquer tipo de informações
>> Capacidade para um número elevadíssimo de dados
>> Flexibilidade na hora de acessar os dados, já que estão todos reunidos em uma só visão
>> Pode abrigar dados referentes a internet das coisas, como eletrodomésticos inteligentes
>> Dados acessíveis de forma democrática, já que estão brutos e podem ser disponibilizados para todos colaboradores de uma empresa por exemplo.
>> Utiliza a disponibilidade de grandes quantidades de dados e algoritmos de Deep Learning. Isso ajuda na análise de decisões em tempo real

O Data Warehouse

Ao contrário do aglomerado de informações de formatos e tamanhos diferentes, o Data Warehouse é um espaço dedicado a receber dados tratados, padronizados e higienizados. A proposta do DW é oferecer visões organizadas que permitam aos profissionais tomar decisões mais embasadas sobre determinada situação. Para abrigar qualquer informação em um DW, é fundamental que elas tenham passado pelo processo de tratamento, diferentemente do Data Lake.

Principais benefícios do Data Warehouse

>> integração de diferentes tipos de fonte de dados em uma visão única
>> abriga dados já higienizados, o que evita potenciais ruídos de análise
>> favorece a visão de insights
>> ideal para analisar situações específicas analisadas por profissionais de BI
>> permite a análise de dados históricos que ficam abrigados no seu espaço

Modelo Estrela VS Modelo Floco de Neve

Outra técnica muito importante a ser dita no armazenamento de dados nos Data Warehouses é a Modelagem Dimensional. É uma maneira de modelar os dados levando em consideração como as informações se relacionam, se aprofundando em cada “eixo”. Vamos entender melhor explicando o Modelo Dimensional Estrela e o Modelo Dimensional Floco de Neve.

Modelo Estrela

Por ser  focado em fatos e dimensões, este modelo permite uma fácil visualização do cenário analisado. No exemplo abaixo, o fato são os voos, centralizados no esquema. As dimensões são todas as variáveis que o rodeiam e são conectadas a ele nos chamados “joins”.  

A vantagem desse modelo é a facilidade do entendimento dos relacionamentos, reduzindo o número de joins e tem baixa manutenção de dados.

Modelo Floco de Neve

É considerado uma especialização do modelo estrela, pois é representado pela tabela fato centralizada e conectada a múltiplas dimensões, porém, permite fazer joins com tabelas individuais. Isso ajuda pois nem todas as tabelas precisam se ligar a todas as outras.

Algumas ferramentas de modelagem de banco de dados multidimensionais OLAP (Online Analytical Processing, – método de manipulação e análise de um grande volume de dados) são otimizadas para o modelo floco de neve, a normalização de atributos resulta em economia de armazenamento. Podemos citar que a desvantagem do modelo é que a normalização dos atributos adicionam complexidade aos joins de consulta, e aumenta o gerenciamento e controle de atualização e inserção para garantir a integridade dos dados.