ETL com SQL

[Ciro Zeferino]

Olá pessoal!

Tem como fazer ETL dentro de um banco de dados no SQL Sever?

ou tenho que realizar o ETL fora do banco de dados, e depois carregar os dados para dentro do banco de dados no SQL

Agradeço a ajuda.

[Alex Pereira]

O ideal é realizar o ETL dentro do próprio banco de dados no SQL Server, pois isso pode oferecer maior desempenho e eficiência ao processar grandes volumes de dados. No entanto, é importante estar atento a algumas limitações e desafios, como:

• Concorrência no banco de dados: A realização de operações ETL pode aumentar a carga no banco de dados, afetando o desempenho das transações de produção. Isso pode resultar em lentidão para os usuários que estão acessando o banco simultaneamente.
• Tempo de atualização: Dependendo da complexidade do ETL, as atualizações podem demorar, afetando a frescura dos dados no BI. É essencial garantir que o ETL ocorra em horários que não impactem a operação normal do banco de dados.
• Recursos do sistema: Processos ETL intensivos podem consumir muitos recursos do servidor, como CPU e memória, potencialmente impactando outras operações.

Uma abordagem recomendada para evitar esses conflitos é utilizar um banco de dados intermediário, conhecido como staging area. Nesse cenário, você extrai os dados de origem, realiza as transformações necessárias no banco de staging e, em seguida, carrega os dados transformados no banco de produção. Isso ajuda a minimizar a concorrência e os impactos no desempenho do ambiente de produção.

Recomendo assistir algumas aulas do curso:

-> Sql server basico
 


-> Trabalho com grande conjunto dados power bi

 

Espero que isso ajude!