Problema ao tentar fazer atualização incremental (M Query)

[Henrik Oliveira Paes]

Olá pessoal!

Estou com problemas ao tentar fazer a atualização incremental em um banco de dados MySQL conectado via ODBC x64 MySQL 8.3 Unicode.

Acontece que, ao definir o RangeStart e RangeEnd, quando vou aplicar a atualização incremental no Front-end do BI, ele me apresenta a seguinte mensagem: Unable to M query can be folded. incremental refresh can't be suggested for non-foldable queries.



Até encontrei um vídeo no YouTube watch?v=QEFze-LdLqo onde é falado que dependendo das etapas aplicadas no Power Query, pode-se perder a instancia de "View Native Query".  O que poderia explicar essa mensagem acima. Mas praticamente qualquer etapa, seja de mudar tipo de dados, fazer split de coluna ou só duplicar uma coluna já faz sumir essa "View Native Query".

Segue abaixo o print de uma das tabelas que tenho no Power Query com alguns tratamentos, onde já se "perdeu" essa possibilidade de incrementar dados:



Alguém já passou por isso? Porque eu acredito que é quase inviável fazer todas as transformações de dados no Banco SQL antes de trazer os dados para o Power BI.
Será que não tem uma outra opção de ativar essa atualização incremental e manter as etapas de transformação aplicadas?

No meu caso, o que acontece: O Power BI apresenta aquela mensagem em amarelo, e quando estou no Power BI Serviço ele simplesmente atualiza o banco todo como se não existisse os parâmetros de RangeStart e RangeEnd.
 

[Henrik Oliveira Paes]

Pessoal,

Depois que eu troquei o conector de ODBC para MySQL ConectorNET funcionou normalmente o incremental, mesmo tento várias etapas aplicadas no Power Query.

[Henrique Merola Faria]

Olá, @Henrik Oliveira Paes
My Sql não é suportado pelo Power BI para query folding, então não tem atualização incremental.
Nem workaround conhecido, ainda.
É uma questão recorrente nas comunidades estrangeiras, ainda sem solução.

[Alex Pereira]

8 horas atrás, Henrik Oliveira Paes disse:

Olá pessoal!

Estou com problemas ao tentar fazer a atualização incremental em um banco de dados MySQL conectado via ODBC x64 MySQL 8.3 Unicode.

Acontece que, ao definir o RangeStart e RangeEnd, quando vou aplicar a atualização incremental no Front-end do BI, ele me apresenta a seguinte mensagem: Unable to M query can be folded. incremental refresh can't be suggested for non-foldable queries.



Até encontrei um vídeo no YouTube watch?v=QEFze-LdLqo onde é falado que dependendo das etapas aplicadas no Power Query, pode-se perder a instancia de "View Native Query".  O que poderia explicar essa mensagem acima. Mas praticamente qualquer etapa, seja de mudar tipo de dados, fazer split de coluna ou só duplicar uma coluna já faz sumir essa "View Native Query".

Segue abaixo o print de uma das tabelas que tenho no Power Query com alguns tratamentos, onde já se "perdeu" essa possibilidade de incrementar dados:



Alguém já passou por isso? Porque eu acredito que é quase inviável fazer todas as transformações de dados no Banco SQL antes de trazer os dados para o Power BI.
Será que não tem uma outra opção de ativar essa atualização incremental e manter as etapas de transformação aplicadas?

No meu caso, o que acontece: O Power BI apresenta aquela mensagem em amarelo, e quando estou no Power BI Serviço ele simplesmente atualiza o banco todo como se não existisse os parâmetros de RangeStart e RangeEnd.
 

 

Bom dia!

O problema que você está enfrentando é que algumas operações realizadas no Power Query podem fazer com que a opção de native query (consulta nativa) não esteja disponível. Para evitar esse problema, recomendo que você faça o máximo possível do trabalho diretamente em SQL antes de importar os dados para o Power Query.

Eu costumo criar a consulta SQL com todos os parâmetros e ajustes necessários desde o início. Isso facilita a chamada e evita problemas com a opção de native query.

Segue exemplo:
 

let
    strRangeStart = DateTime.ToText(RangeStart,[Format="yyyy-MM-dd HH:mm:ss", Culture="en-US"]),
    strRangeEnd = DateTime.ToText(RangeEnd,[Format="yyyy-MM-dd HH:mm:ss", Culture="en-US"]),
    Query = "
    SELECT
        sub.sk_ctrc AS sk_ctrc,
        sub.dia_inclusao_ocor,
        sub.usuario_ocor,
        sub.unid_ocor,
        sub.cod_ocor
    FROM dw.fato_ocorrencias sub
    WHERE 
        sub.emissao_ctrc  >= '" & strRangeStart & "' AND sub.emissao_ctrc  < '" & strRangeEnd & "')
    ",
    Fonte = MySQL.Database("SEU IP", "DATABASE", [ReturnSingleDatabase=true, Query=Query])
in
    Fonte

 

[Alex Pereira]

1 hora atrás, Alex Pereira disse:

 

Bom dia!

O problema que você está enfrentando é que algumas operações realizadas no Power Query podem fazer com que a opção de native query (consulta nativa) não esteja disponível. Para evitar esse problema, recomendo que você faça o máximo possível do trabalho diretamente em SQL antes de importar os dados para o Power Query.

Eu costumo criar a consulta SQL com todos os parâmetros e ajustes necessários desde o início. Isso facilita a chamada e evita problemas com a opção de native query.

Segue exemplo:
 

let
    strRangeStart = DateTime.ToText(RangeStart,[Format="yyyy-MM-dd HH:mm:ss", Culture="en-US"]),
    strRangeEnd = DateTime.ToText(RangeEnd,[Format="yyyy-MM-dd HH:mm:ss", Culture="en-US"]),
    Query = "
    SELECT
        sub.sk_ctrc AS sk_ctrc,
        sub.dia_inclusao_ocor,
        sub.usuario_ocor,
        sub.unid_ocor,
        sub.cod_ocor
    FROM dw.fato_ocorrencias sub
    WHERE 
        sub.emissao_ctrc  >= '" & strRangeStart & "' AND sub.emissao_ctrc  < '" & strRangeEnd & "')
    ",
    Fonte = MySQL.Database("SEU IP", "DATABASE", [ReturnSingleDatabase=true, Query=Query])
in
    Fonte

 

Como já estou montando as consultas antecipadamente, isso garante que, ao puxar os dados do banco, o processamento será otimizado ao máximo, mesmo que o Direct Query esteja desativado. Enfim, está foi a solução que encontreii!

[Edson Igari]

10 horas atrás, Henrik Oliveira Paes disse:

Olá pessoal!

Estou com problemas ao tentar fazer a atualização incremental em um banco de dados MySQL conectado via ODBC x64 MySQL 8.3 Unicode.

Acontece que, ao definir o RangeStart e RangeEnd, quando vou aplicar a atualização incremental no Front-end do BI, ele me apresenta a seguinte mensagem: Unable to M query can be folded. incremental refresh can't be suggested for non-foldable queries.



Até encontrei um vídeo no YouTube watch?v=QEFze-LdLqo onde é falado que dependendo das etapas aplicadas no Power Query, pode-se perder a instancia de "View Native Query".  O que poderia explicar essa mensagem acima. Mas praticamente qualquer etapa, seja de mudar tipo de dados, fazer split de coluna ou só duplicar uma coluna já faz sumir essa "View Native Query".

Segue abaixo o print de uma das tabelas que tenho no Power Query com alguns tratamentos, onde já se "perdeu" essa possibilidade de incrementar dados:



Alguém já passou por isso? Porque eu acredito que é quase inviável fazer todas as transformações de dados no Banco SQL antes de trazer os dados para o Power BI.
Será que não tem uma outra opção de ativar essa atualização incremental e manter as etapas de transformação aplicadas?

No meu caso, o que acontece: O Power BI apresenta aquela mensagem em amarelo, e quando estou no Power BI Serviço ele simplesmente atualiza o banco todo como se não existisse os parâmetros de RangeStart e RangeEnd.
 

Pra atualização incremental todas as transformações devem ser feitas antes. Se vc fizer qualquer tipo de alteração no power query, automaticamente o query folding será desabilitado.

[Edson Igari]

6 minutos atrás, Henrik Oliveira Paes disse:

Pessoal,

Depois que eu troquei o conector de ODBC para MySQL ConectorNET funcionou normalmente o incremental, mesmo tento várias etapas aplicadas no Power Query.

opa, que bom