processo de banco de dados. do ERP( Big Data)

[Thiago Lima]

Bom dia ...

tenho um demanda de pegar o bd do ERP da empresa , e um dos detalhes da supervisor do TI requisitou foi " Fazer uma especie de ELT" para não sobrecarregar em consultas na hora do analista pegar a informaação ao bi depois. Pois não precisa de Realtime.

hoje é conexção ODBC  direto no BD do ERP , em SQL . Logo para cada solictação ou qq alteração feito no Power query no BI como é bem entendido é feito uma atualização na consulta, e como é um volume alto de linhas +/- acima 1 trilhões de linhas acaba dendo um lentidão na demorar de carregar as informção.

hoje estou numa posição re reformular esse contexto de consumo de informação. Estou analisando/estudando  as Ferrramentas da Apache Spark , Nifi, e pandas . Para da rubustes no ELT.
qual processo alguem pode ajusta sugerindo um solução . 

Editado Novembro 26 por Thiago Lima

[Edson Igari]

Você precisa ver os dados no grão mais fino??? Será que não é possível criar tabelas agregadas, tipo, por mês??? Quanto a ferramenta existem inúmeras. Pentaho por exemplo é gratuito e oferece inúmeros recursos.  Acredito que, a princípio o ideal é mapear direitinho o que você utiliza de dados e se possível fazer filtros, agregações, etc... Também, de acordo com a necessidade, é possível utilizar um modelo composto.

[Thiago Lima]

4 minutos atrás, Edson Igari disse:

Você precisa ver os dados no grão mais fino??? Será que não é possível criar tabelas agregadas, tipo, por mês??? Quanto a ferramenta existem inúmeras. Pentaho por exemplo é gratuito e oferece inúmeros recursos.  Acredito que, a princípio o ideal é mapear direitinho o que você utiliza de dados e se possível fazer filtros, agregações, etc... Também, de acordo com a necessidade, é possível utilizar um modelo composto.

Pentaho é um solução  que esta no radar , mas sim preciso elevar os dados em 3 niveis . 
o utimo nivel e o ponto que analista de bi ira consumir o dado.
Minha duvida de usar ele , se ele realmente ira da conta do volume de informação .

Editado Novembro 26 por Thiago Lima

[Edson Igari]

Suporta sim. A primeira carga deve demorar um pouco, mas vc provavelmente vai colocar pra rodar em um período sem uso dos sistemas. Ai depois da primeira vc faz incremental.