Duvida conceitual sobre data warehouse

[nanfilho]

bom dia amigos. ainda estou assistindo o curso, postei uma pergunta em uma aula, e não tive resposta, então estou postando aqui para os colegas me ajudarem.

A aula foi essa: https://aprendapowerbi.club.hotmart.com/lesson/R4j9zrnwOa/dica-utilizando-banco-de-staging-e-o-comando-insert-into

e a duvida foi essa:

Vou me deparar com diversos tipos de fonte de dados diferentes: firebird, excel, mysql,postgree,sql server, etc. Seria interessante criar uma base DW minha, com tabelas padrões de negócio (venda, produto, estoque, etc), e uma aplicação (sou desenvolvedor) que fizesse a carga para essa base? mas fico na duvida se não estou "reinventando a roda", pois poderia fazer isso em cada projeto de acordo com a base do cliente (acredito que outros sgdbs tem esses mesmos recursos que o sqlserver tem), e quando fosse excel, faria de forma direta mesmo pelo PBI. qual a melhor pratica pensando em projetos com bases diferentes?

 

[Alex]

Oi @nanfilho, boa tarde!!

Aqui na empresa estamos iniciando um projeto de BI e nós faremos um DW onde faremos a integração de todas as fontes de dados para ele e a partir dele utilizaremos no PBI.

Eu acho interessante ter sua própria base de dados de integração, onde vc "unificaria" todas as fontes em um único lugar fazendo todas as limpezas necessárias, organizações, etc. e só depois utilizar isso tudo no PBI para fazer os relatórios etc.

Não tenho experiência com essa parte, mas é o que estou com foco e que irei alinhar com o pessoal do meu projeto aqui.

Espero ter ajudado.

[ismaelsapdetto]

Ola @nanfilho

Seguindo a logica/idea de um projeto de BI, vc poderia fazer da seguinte forma.

Criar um DW com a Staging area, carregando todas as raw data(informacoes puras/sem tratamento). Dica: nessa staging area vc poderia criar tabelas de acordo com a fonte de dados ou cria pequenos data marts para cada tipo de dado. Staging_1 - Carregamento e truncate diario. Nao precisa manter historico. 

Depois vc cria uma area de tratamento para juntar todos esses dados chamado de Staging_Aux ou ja pode jogar direto nas tabelas finais que serao usadas para fazer conexao com o PBI.

Para fazer essas leituras, tranformacoes e cargas, vc pode dar uma olhada em ferramentas ETL disponiveis no mercado. Um exemplo eh o Pentaho.