ETL com Python no Power Query - Serviços

[ramirocgcontadores]

Gostaria de saber se é possível utilizar o Python para o tratamento de ETL em serviços publicados e atualizados automaticamente. Se sim, como ficaria a execução do Python e quem ficaria responsável por essa execução?

Lembrando que, quando é executado pelo Power BI Desktop, é indicado o diretório onde está sendo executado o Python. Como isso fica na parte dos serviços?

[Reginaldo Batista]

Olá @ramirocgcontadores, tudo bem?

 

É possível utilizar o Python para o tratamento de ETL (Extract, Transform, Load) em serviços que precisam ser publicados e atualizados automaticamente. Nesse contexto, serviços geralmente se referem a pipelines de dados ou processos automatizados que executam tarefas de ETL em ambientes em nuvem, como Azure Data Factory, AWS Glue, Google Cloud Dataflow, ou mesmo em servidores locais com agendadores de tarefas, como o Windows Task Scheduler ou o cron do Linux.

A execução do Python nesses serviços pode ser realizada de várias maneiras, dependendo do serviço específico que você está usando:

Azure Data Factory: Você pode criar pipelines de dados no Azure Data Factory que incluem atividades Python. O Azure Data Factory oferece suporte para execução de scripts Python e fornece um ambiente gerenciado para executar seus scripts. Você pode agendar essas atividades para que sejam executadas automaticamente em intervalos regulares.

AWS Glue: O AWS Glue é um serviço ETL totalmente gerenciado pela AWS. Você pode criar scripts de transformação em Python usando o AWS Glue ETL job e agendar esses jobs para que sejam executados automaticamente.

Google Cloud Dataflow: O Google Cloud Dataflow permite que você escreva pipelines de ETL em Python usando a biblioteca Apache Beam. Você pode definir cronogramas para a execução desses pipelines.

Servidores locais ou VMs na nuvem: Se você estiver executando Python em seu próprio servidor ou em uma máquina virtual na nuvem, você pode usar agendadores de tarefas como o cron no Linux ou o Windows Task Scheduler para executar seus scripts Python em intervalos específicos.

A maneira exata de configurar e agendar a execução do Python dependerá do serviço e da infraestrutura que você está usando. Você precisará configurar as credenciais de acesso aos seus dados, definir os scripts Python que executarão as transformações de dados e programar quando esses scripts serão executados.

Além disso, quando se trata de serviços em nuvem, como o Power BI Service da Microsoft, você pode configurar integrações para que os dados tratados pelo Python sejam automaticamente disponibilizados para seus relatórios no Power BI. Você pode usar soluções como o Azure Data Factory ou Azure Logic Apps para automatizar o processo de atualização dos dados no Power BI Service.

Portanto, a execução e a responsabilidade pela execução do Python em serviços dependem do serviço específico, mas geralmente envolve configurar tarefas agendadas ou pipelines de dados para automatizar o processo de ETL.

[Tiago Craici - Xperiun]

Olá @ramirocgcontadores!

 

Caso atendido seu objetivo, por gentileza marque a Melhor resposta para o tópico, para isso basta ir naquela que mais te ajudou e clicar nas opções conforme print:

 

 

[Joao Raulino]

Suave @ramirocgcontadores?

Para isso você vai precisar ter um gateway pessoal instalado na tua máquina. Como mencionado no próprio site da Microsoft:

Pergunta: O gateway pessoal dá suporte a scripts de R e Python?

Resposta: Sim, o modo pessoal dá suporte a scripts de R e Python.

https://learn.microsoft.com/pt-br/power-bi/connect-data/service-gateway-personal-mode

Se essa solução te ajudou, não esquece de marcar como melhor resposta 😉

Abs!