Carga incremental em dados de uma API

[Germano Redwitz]

Olá Pessoal,

Minha tabela fato tem como fonte uma API que retorna no formato xml cerca de aproximadamente 2.5M de linhas.

É uma API paginada que contém 1000 linhas por página.

1) Após baixar os registros no Power Bi Desktop, gostaria de saber se tem como atualizar somente registros novos e/ou registros que sofreram alteração?

2) Para projetos com um volume de registros como esse, alguma dica ?

 

 

[Renato Carlos Rossato]

Olá @Germano Redwitz, eu neste caso utilizaria softwares de ETL como por exemplo o Pentaho para realizar a extração de dados mais antigos e salvar em algum local em CSV e deixaria rodando somente registros mais recentes para serem atualizados.

[FelipeHulle]

Olá @Germano Redwitz, acredito que esse vídeo pode te ajudar.

 

[Julian Ferreira Salcedo]

Olá @Germano Redwitz tudo bem? 😃

Esperamos que você tenha encontrado a solução que tanto desejava!!

Caso alguma resposta tenha ajudado, você pode marcá-la como Solução ✅. Com isso o tópico poderá ser fechado! 

Maas...

Pode acontecer de você receber uma resposta que não é 100% do que você esperava. Mesmo assim, se ela o ajudou de alguma forma para que você mesmo conseguisse chegar à solução, conte como você fez isso e marque como a melhor resposta. 😉

 

Obrigado por tonar nossa comunidade #INCOMPARÁVEL!!

Att Julian Salcedo I Community Manager Xperiun

 

[Joao Raulino]

Suave @Germano Redwitz?

Uma solução que tenho utilizado para um problema similar é a união dataset + dataflow no próprio Power BI online.

No dataflow eu faco a configuração para ingerir os dados mais recentes diretamente da API (e.g.: últimos 7 dias) enquanto que no dataset eu configuro para atualizar incrementalmente tendo o dataflow como fonte.

O downside eh que uma vez que você configura a atualização incremental, o modelo já não pode mais ser modificado. No meu caso vale a pena, pois evita ter que passar por outros softwares (e.g.: Pentaho) ou arquivos/bases intermediarios (e.g.: csv, SQL...)

Abs!