Várias máquinas locais para um único conjunto de dados

[Pedro Castro]

Boa tarde pessoal! O cenário é o seguinte:

Cada cliente possui o sistema em sua máquina e cada sistema tem seu banco de dados local (mariadb), hoje o conjunto é atualizado via gateway para cada cliente e eles tem acesso ao seu relatório individual.

Tenho a necessidade de criar um DW com os dados de todos os clientes para desenvolvimento de um projeto de benchmarking, pensei em um gateway para cada máquina e tentar resolver o DW no Factory a partir dos conjuntos de cada cliente.

Perguntas:

1. É possível compartilhar o mesmo gateway para várias máquinas?
2. Existe alguma solução/sugestão mais viável para a coleta desses dados (algum processo de ETL intermediário) ?
3. Existe alguma solução/sugestão mais viável para armazenar os dados (aluguel de máquina virtual, servidor ou próprio Factory)?

OBS: A alteração de cada cliente posteriormente não é um problema, podemos resolver com RLS por exemplo, minha maior dúvida aqui é quanto à arquitetura do ELT e a melhor alternativa para hospedar o DW.

Abs!

[Ezequiel Pedreira]

9 minutos atrás, Pedro Castro disse:

Boa tarde pessoal! O cenário é o seguinte:

Cada cliente possui o sistema em sua máquina e cada sistema tem seu banco de dados local (mariadb), hoje o conjunto é atualizado via gateway para cada cliente e eles tem acesso ao seu relatório individual.

Tenho a necessidade de criar um DW com os dados de todos os clientes para desenvolvimento de um projeto de benchmarking, pensei em um gateway para cada máquina e tentar resolver o DW no Factory a partir dos conjuntos de cada cliente.

Perguntas:

1. É possível compartilhar o mesmo gateway para várias máquinas?
2. Existe alguma solução/sugestão mais viável para a coleta desses dados (algum processo de ETL intermediário) ?
3. Existe alguma solução/sugestão mais viável para armazenar os dados (aluguel de máquina virtual, servidor ou próprio Factory)?

OBS: A alteração de cada cliente posteriormente não é um problema, podemos resolver com RLS por exemplo, minha maior dúvida aqui é quanto à arquitetura do ELT e a melhor alternativa para hospedar o DW.

Abs!

Cara não tenho tanta propriedade no assunto, mas analisando o cenário, acredito que o fluxo de dados do Power BI te ajudaria, porque ele já eliminaria o uso do gateway, parte do ETL intermediário e o armazenamento de dados. 

Este video do Gerson é bem completo sobre Fluxo de dados do PBI.

 

[Pedro Castro]

Obrigado pela contribuição @Ezequiel Pedreira, essa seria a solução quando me refiro a "resolver o DW no Factory" uma vez que vamos ter que criar Pipelines para extração das maquinas locais e população do DW, não teria como fugir do gateway.

Talvez com uso de Pentaho ou Talend resolva, mas nunca fiz conexão remota a outras máquinas com essas ferramentas. Talvez seja um problema devido ao IP dinâmico de cada máquina...

Enfim, vamos tentando aqui.

Abs!

[Renato Carlos Rossato]

Olá @Pedro Castro, quanto ao IP dinâmico, tenta chamar a máquina/servidor pelo nome dela que acredito que dê certo.

[Tiago Craici - Xperiun]

Olá @Pedro Castro!


 

Caso atendido seu objetivo, por gentileza marque a Melhor resposta para o tópico, para isso basta ir naquela que mais te ajudou e clicar nas opções conforme print: