Uso de Dataflows + Atualização Incremental

[Vinil_b]

Olá, pessoal, tudo certo?

Eu tenho um Dataflow que é alimentado por arquivos de pastas Sharepoint (essas pastas são de diversos clientes, são arquivos csv.), o time de TI disponibilizou um outro Dataflow que mantém a mesma estrutura e dados do Dataflow que já tenho, esse Dataflow disponibilizado pela TI vem de um banco Postgres com atualização 1x por semana, o problema que esse dataflow mantém histórico apenas dos últimos 45 dias. Já o Dataflow que uso que vem do Sharepoint mantém anos de histórico. O desafio é unir esses dois Dataflows e inserir uma atualização incremental, e ir mantendo o histórico desse dataflow disponibilizado pela TI. Pois, não posso perder esse histórico. Alguém já passou por isso e poderia me dar uma luz? Se ficou confuso tento explicar de uma outra forma.

 

Obrigado.

[Fabio Sanz]

Se entendi bem vc quer realizar incremental de um dataflow. Até onde sei incremental assim só com licença Premium. Um teste pode ser conectar a View / tabela da TI e assim manter o query folding e aí aplica a incremental no desktop e não utilizar o fluxo de dados.

[Vinil_b]

Em 07/07/2024 em 10:20, Fabio Sanz disse:

Se entendi bem vc quer realizar incremental de um dataflow. Até onde sei incremental assim só com licença Premium. Um teste pode ser conectar a View / tabela da TI e assim manter o query folding e aí aplica a incremental no desktop e não utilizar o fluxo de dados.

Fala Fabio, tudo tranquilo? Na verdade, eu tenho um dataflow que foi gerado a partir de arquivos .csv esse mantém histórico e tenho outro dataflow de mesma estrutura mas que mantém dados dos últimos 45 dias, tenho que arrumar uma forma de juntar os dois dataflows e conseguir salvar esses dados de 45 dias para não se perder.

[luizkrein]

Oi Vinil, se precisa juntar os dataflows não é atualização incremental, embora seja um caminho para isto.

Uma forma colocar os dois códigos M no editor avançado e "Acrescentar - Table.Combine" referenciando o último passo de cada uma. Quando fazemos etapas no Power Query, estamos criando em cada etapa uma tabela. Você pode a função Acrescentar com a própria tabela, como se quisesse duplicar ela. 

Neste exemplo, eu vou duplicar a tabela, uma vem "Renamed Columns" e a outra vem de "Sorted Rows", no seu caso, será a tabela com dados até 45 dias e a outra dos últimos 45 dias.

PORÉM ISTO NÃO É UMA ATUALIZAÇÃO INCREMENTAL, é uma forma de fazer várias consultas M e ter somente tabela resultante. Eu uso bastante isto na empresa para não sobrecarregar a atualização do modelo semântico. Faço todas as junções em Dataflow e no modelo semântico, somente importo a tabela, nada mais.