Atualização Incremental BigQuery

[chicopra]

Pessoal alguém já configurou atualização incremental com Bigquery? Sabe se funciona?

Eu tive que alterar a instrução que o Leo ensinou por sql na Where, que seria:
where OrderDate >= convert(datetime2, '" & Text.From(RangeStart) & "') and OrderDate < convert(datetime2, '" & Text.From(RangeEnd) & "'

 

por essa:

 

where t.created_at >= '" & DateTime.ToText(RangeStart, "yyyy-MM-dd HH:mm:ss") & "' and t.created_at < '" & DateTime.ToText(RangeEnd, "yyyy-MM-dd HH:mm:ss") & "'

 

Deu certo de atualizar e carregar para o PBI Online, mas eu não consigo verificar se está fazendo atualização incremental. Pelo tempo da carga não consegui identificar. Há alguma maneira de fazer essa verificação?

 

Obrigado!

[Maycon Silva]

10 minutos atrás, chicopra disse:

Pessoal alguém já configurou atualização incremental com Bigquery? Sabe se funciona?

Eu tive que alterar a instrução que o Leo ensinou por sql na Where, que seria:
where OrderDate >= convert(datetime2, '" & Text.From(RangeStart) & "') and OrderDate < convert(datetime2, '" & Text.From(RangeEnd) & "'

 

por essa:

 

where t.created_at >= '" & DateTime.ToText(RangeStart, "yyyy-MM-dd HH:mm:ss") & "' and t.created_at < '" & DateTime.ToText(RangeEnd, "yyyy-MM-dd HH:mm:ss") & "'

 

Deu certo de atualizar e carregar para o PBI Online, mas eu não consigo verificar se está fazendo atualização incremental. Pelo tempo da carga não consegui identificar. Há alguma maneira de fazer essa verificação?

 

Obrigado!

Bom dia.

 

Você pode criar uma coluna com DATA/HORA da atualização da linha no powerquery.

Assim vai saber a hora de atualização daquela linha específica.

 

[chicopra]

2 horas atrás, Maycon Silva disse:

Bom dia.

 

Você pode criar uma coluna com DATA/HORA da atualização da linha no powerquery.

Assim vai saber a hora de atualização daquela linha específica.

 

Boa tarde Maycon,

Mas a dúvida é se a atualização incremental está funcionando. Eu vi que os dados estão atualizando, mas não sei verificar se está atualizando apenas o período que configurei na atualização incremental.

 

 

[Renato Carlos Rossato]

Olá @chicopra, nestas aulas o Léo ensina a verificar se o Query Folding está ativo, acredito que pode ajudar ai:

https://play.powerbiexperience.com/curso/lives-sobre-etl-pilares-1-e-2/5098/26980

https://play.powerbiexperience.com/curso/lives-sobre-etl-pilares-1-e-2/5098/26981

Nesta aqui ele mostra como verificar se a atualização incremental está ocorrendo e mostra as partições e como o Power BI online trata a atualização incremental:

https://play.powerbiexperience.com/curso/bcc-trabalhando-com-grandes-bases-e-projetos-corporativos/5313/33668

https://play.powerbiexperience.com/curso/lives-sobre-etl-pilares-1-e-2/5098/26860

Espero ter ajudado.

 

Editado Março 27, 2023 por Renato Carlos Rossato

[Maycon Silva]

1 hora atrás, chicopra disse:

Boa tarde Maycon,

Mas a dúvida é se a atualização incremental está funcionando. Eu vi que os dados estão atualizando, mas não sei verificar se está atualizando apenas o período que configurei na atualização incremental.

 

 

Com essa coluna, caso esteja funcionando corretamente, somente as linhas que foram atualizadas carregaram uma nova data de atualização. Assim você consegue verificar, pois as linhas que n foram atualizadas permaneceram com data de ontem, por exemplo.

[chicopra]

23 horas atrás, Maycon Silva disse:

Bom dia.

 

Você pode criar uma coluna com DATA/HORA da atualização da linha no powerquery.

Assim vai saber a hora de atualização daquela linha específica.

 

Boa meu caro, eu não havia entendido sua pergunta. Sua solução funcionou. Muito obrigado!!!

Só para ficar registrado caso alguém consulte esse tópico, eu criei a coluna data/hora da seguinte forma:

1 - Selecione a tabela que deseja atualizar.

2 - Clique na guia "Adicionar Coluna" na faixa de opções.

3 - Selecione "Adicionar Coluna Personalizada" no menu suspenso.

4 - Na caixa de diálogo "Adicionar Coluna Personalizada", digite um nome para a nova coluna, como "Data de Atualização".

5 - Na seção "Expressão", digite a seguinte fórmula: = DateTime.LocalNow()

6 - Clique em "OK" para criar a nova coluna.

7 - Na guia "Principal", selecione "Fechar e Carregar".

Agora, cada linha da tabela terá uma nova coluna "Data de Atualização" que mostrará a data e hora da última atualização da linha. Note que cada vez que atualizar a tabela, essa coluna será atualizada com a data e hora atual.