Staging area e DW de várias fontes SQL Server

[Ayumi]

Bom dia, tenho dúvida na seguinte situação:
Um cliente possui 4 unidades de fabricação em locais diferentes. Todas elas têm a mesma estrutura do banco de dados e o mesmo sistema ERP com banco de dados SQL Server.
O problema de conectividade foi resolvido pela conexão de bancos de dados com IP estático.

Nessa situação, é possível criar uma staging area?
A ideia é coletar os dados de todas as 4 unidades em um servidor , criar uma staging area e, em seguida, o Data Warehouse.

Aceito como resposta a indicação de links. Pode ser em inglês.

Obrigada,
Ayumi

[Michele]

Olá @Ayumi!

Atendendo aos critérios abaixo, você pode criar views e através de um SELECT com UNION de cada tabela e juntar as informações dos 4 bancos, criando uma única tabela:

• Mesma estrutura das tabelas (você já disse que são).
• Esses bancos estarem no mesmo servidor ou na mesma rede (o que imagino que sim).
  • ou ainda criar LinkedServer para comunicação entre diferentes servidores (aqui pode ficar mais lento).

Com isso daria para fazer no SQL mesmo.

Hoje a minha estrutura é toda no SQL, pois não precisei de nada muito avançado para o tratamento nas views, então por enquanto essa forma tem me atendido satisfatoriamente.

[Rafael Lima]

12 horas atrás, Ayumi disse:

Bom dia, tenho dúvida na seguinte situação:
Um cliente possui 4 unidades de fabricação em locais diferentes. Todas elas têm a mesma estrutura do banco de dados e o mesmo sistema ERP com banco de dados SQL Server.
O problema de conectividade foi resolvido pela conexão de bancos de dados com IP estático.

Nessa situação, é possível criar uma staging area?
A ideia é coletar os dados de todas as 4 unidades em um servidor , criar uma staging area e, em seguida, o Data Warehouse.

Aceito como resposta a indicação de links. Pode ser em inglês.

Obrigada,
Ayumi

Olá, boa noite!

Tudo bem?

No meu ponto de vista o ideal é utilizar uma ferramenta de ETL para fazer esse processo, sugiro da uma olhada no Pentaho, vou deixar aqui alguns conteúdos do Rafael Arruda, talvez possa te ajudar.

 

https://arrudaconsulting.com.br/blog/

https://www.youtube.com/c/RafaelArrudaa

 

Espero que te ajude.

 

Fico à disposição.

  

[pauloneves]

Você pode fazer criar um banco a parte no seu caso datawarehouse e agendar para que todos os bancos de dados salvem os dados em um determinado período.

Pode até usar o Linkserver para isso.

[Roseane]

@Ayumi boa noite,  alguma das soluções propostas lhe atende? Ou ainda permanece a dúvida?