SQL Server? Access? ou Power Bi? - Para um bando de dados

[Enzo Bonazzi]

Comunidade, boa tarde!
Tenho um desafio no meu novo emprego, gostaria da opinião e ajuda de vocês!

Estou com um bando de dados 🤣

Todo dia, uma operadora exporta dezenas de relatórios em .txt e salva cada qual em sua pasta. 
Por exemplo: RELATORIO_YK_19062023. E ela salva na pasta: C:\Users\Andreia\Diretorio\Relatórios\YK\2023\JUNHO\RELATORIO_YK_19062023.txt.

Como podem ver, até mesmo por se tratar de um banco, existem inumerás áreas, infinitas pastas, com infinitos arquivos e com infinitas linhas. 
Preciso dar um jeito nisso!

 

Opção A - Tentar contatar o t.i da empresa, criarmos um banco de dados, sql server, e migrarmos os arquivos .txt para o db e automatizarmos a medida que cada arquivo é salvo no diretório, pelas operadoras. E a partir disso, manipular os dados, em sql, no proprio banco e exportar ao powerbi.

Opção B - Deixar como está, a operação ocorrendo normalmente, com as operadoras exportando os .txt do sistema e salvando no diretório. E eu, apenas, vinculo diretamente ao powerbi.

 

Fator importante, 

• Meu gestor quer apenas com uma finalidade, ele quer ver as informações em dashboard no powerbi. Então, talvez, a opção A seja desperdício de tempo.

 

Minhas indagações, 

• Por conta dos arquvios serem pesados, não seria interessante, te-los em sql server, para manipular e exportar no pbi apenas as consultas? Ou não, o pbi da conta de processar tudo?

 

Vale lembrar,

• Por dia são extraídos 21 relatórios e ao todo, somando os milhares de relatórios, possuem uns 15 modelos diferentes. Por isso é que hoje eles operam da seguinte maneira: Extraem o relatório em .txt, sobem para o Access que possui um front ja definido para cada qual modelo e exportam em excel, no qual usam dinamicas.

 

Por isso gostaria de saber a opinião de vocês, qual caminho mais ideal e melhor que eu devo seguir? 
Tanto se eu optar pelo Sql Server, ou diretamente no PBI, é possivel ter esses frotns automatico igual o Access? O PBI conseguiria processar sozinho? Por si só? 
Me ajudem com dicas, por favor.

 

 

[Sandro Vieira]

@Enzo Bonazzi conforme o @Leandro Republicanocomentou o ideal é criar uma cultura de dados mesmo e ir trabalhando da forma que está hoje para que não pare o clico de informações e realmente pensar em uma base em SQL ou Postgres.

Hoje tenho uma situação parecida coma sua, porém eu carrego todos os arquivos CSV/TXT em uma base postgres através da ferramenta pentaho (ferramenta para ETL) e já faço todas as tratativas de dados de ETL no pentaho, e no final faço a gravação na base, já com fatos e dimensões separadas.

No power bi como já fiz todas as tratativas somente faço os relacionamentos e as fórmulas DAX.

Além de agilizar muito é tudo automatizado.

[Leandro Republicano]

Cara, eu optaria em trabalhar da forma que ja e feito no momento, mas adicionando algumas melhorias para evitar tanto trabalho. Porem focaria em trabalhar a cabeça do gestor para que iplemente um cultura de dados adequada para situação. Pois alem de te facilitar com power bi, eles vao ter os dados muito mais organizados e versionados da maneira correta (se tornando mais seguro) e vão ter muito mais facilidade em trabalhar com eles futuramente (considerando que esses sao apenas alguns argumentos de beneficio do investimento).

[Fabio Oliveira Santana]

Em 19/06/2023 em 20:11, Sandro Vieira disse:

@Enzo Bonazzi conforme o @Leandro Republicanocomentou o ideal é criar uma cultura de dados mesmo e ir trabalhando da forma que está hoje para que não pare o clico de informações e realmente pensar em uma base em SQL ou Postgres.

Hoje tenho uma situação parecida coma sua, porém eu carrego todos os arquivos CSV/TXT em uma base postgres através da ferramenta pentaho (ferramenta para ETL) e já faço todas as tratativas de dados de ETL no pentaho, e no final faço a gravação na base, já com fatos e dimensões separadas.

No power bi como já fiz todas as tratativas somente faço os relacionamentos e as fórmulas DAX.

Além de agilizar muito é tudo automatizado.

 

Em 19/06/2023 em 20:11, Sandro Vieira disse:

@Enzo Bonazzi conforme o @Leandro Republicanocomentou o ideal é criar uma cultura de dados mesmo e ir trabalhando da forma que está hoje para que não pare o clico de informações e realmente pensar em uma base em SQL ou Postgres.

Hoje tenho uma situação parecida coma sua, porém eu carrego todos os arquivos CSV/TXT em uma base postgres através da ferramenta pentaho (ferramenta para ETL) e já faço todas as tratativas de dados de ETL no pentaho, e no final faço a gravação na base, já com fatos e dimensões separadas.

No power bi como já fiz todas as tratativas somente faço os relacionamentos e as fórmulas DAX.

Além de agilizar muito é tudo automatizado.

Opa @Sandro Vieira tenho um cenário parecido que o seu também: uso RPA para extrair os dados de vários sistemas e transfiro para o Postgres. Mas não conheço a ferramenta Pentaho. Vou pesquisar sobre. Se tiver alguma dica de como usá-la poderia compartilhar um pouco mais da sua experiência?

 

[Sandro Vieira]

Em 30/03/2024 em 14:37, Fabio Oliveira Santana disse:

 

Opa @Sandro Vieira tenho um cenário parecido que o seu também: uso RPA para extrair os dados de vários sistemas e transfiro para o Postgres. Mas não conheço a ferramenta Pentaho. Vou pesquisar sobre. Se tiver alguma dica de como usá-la poderia compartilhar um pouco mais da sua experiência?

 

Blz.. @Fabio Oliveira Santana.... hoje ela funciona bem ainda.... mas está ficando sem atualizações pois vai se tornar paga.... estou fazendo o curso de Apache Hop do Rafael Arruda e vou substitiur o pentaho por ela.... é open source também e funciona igual pentaho por ser baseado no seu código aberto da versão 8.2 se não me engano.... 

Editado Abril 14 por Sandro Vieira

[Fabio Oliveira Santana]

Valeu pela dica @Sandro Vieira!