Ordem das colunas em tabelas Fato

[Márcio Carvalho]

Oi, pessoal...

Estou montando um dashboard para analisar Eficiência Acadêmica a partir da extração da base de dados da Plataforma Nilo Peçanha do MEC.

Quando extrai o arquivo do ano 2018 veio a tabela .CSV com o cabeçalho contendo algumas  colunas e suas nomenclaturas... Até ai tudo bem.... Ao extrair as planilhas de 2019, 2020 e 2021... as tabelas vieram com outras colunas adicionais, e as que permaneceram iguais as de 2018 vieram com alteração na nomenclatura.

Algumas dúvidas:

1. Preciso uniformizar a nomenclatura das colunas para cada arquivo? A diferença nos títulos das colunas evita com que as tabelas sejam relacionadas ou eu posso forçar esse relacionamento manual na aba de Tabelas do PBI?
2. Essas colunas precisam está necessariamente na mesma ordem em todos os arquivos, ou o PBI consegue cruzar elas sem precisar organizar no arquivo base? Por exemplo, caso eu queira mesclar essas tabelas numa única.
3. É melhor eu trabalhar com esses arquivos em tabelas Fato separadas, ou seria melhor unificar numa tabela fato única?
4. Caso eu opte por trabalhar com essas planilhas separado, teria que criar uma Tabela Dimensão para correlacioná-las?
5. A tabela dimensão pode ser montada a partir da tabela fato? Se sim, qual seria a melhor estratégia para monta-la?

Agradeço imensamente quem puder me ajudar nessas questões ai!

Grande abraço a todos!

[Natan Fratta da Silva]

Bom dia Márcio, tudo bem 

Bom tentando ajudar com base no que você disse e sem ver o modelo, na minha opinião seria :

1 e 2 -  Quando você fala " Que as tabelas sejam relacionadas", você quer dizer relacionamento por alguma coluna entre as tabelas de cada ano. Ou se entendi um pouco, na verdade você precisa compilar e unir as tabelas de cada ano, criando uma única que reúna todos. Neste caso para que seja possível essa junção de todos em uma única tabela, você pode usar a Função "Acrescentar consultas" do Power Query. E para que funcione você vai precisar sim que todas as tabelas que forem juntadas, tenham o mesmo padrão (Mesmo nome das colunas, mesma ordem, mesmo tipo de dados em cada uma) caso contrario a junção apresentara inconsistências.

3 - Como você esta trabalhando com as mesmas informações nas tabelas, acredito que seria melhor você juntar tudo em uma única tabela fato.

4 - Em qualquer um dos casos (Tabelas separados, ou  uma única fato) sempre é recomendado conforme vimos no curso do Léo, que você trabalhe com dimensões e fatos. Mas neste caso especifico, com tabelas separadas precisaria sim de uma dimensão para não correr o risco dos relacionamentos "Muitos para Muitos" nas fatos. Agora caso use um único "Tabelão" dependendo ai do seu caso daria para usar as próprias colunas dela sim, falando superficialmente pois não vi  o modelo. Mas lembrando que é recomendado sim a criação de uma dimensão.

 

5 - Caso voce não tenha uma tabela para importar sendo a dimensão, você poderia duplicar sua tabela fato, e avaliar nela quais são as colunas de características (que precisariam estar na sua dimensão). Deixar somente estas colunas no modelo, e por exemplo ir "Removendo duplicatas" para deixar somente  1 linha para cada cadastro que vai estar na dimensão. Porém ai precisa avaliar certinho o modelo. Segue abaixo o link, de uma Live que o Léo cria dimensões a partir de Tabelas Fatos :

[Live #66 Mestre Power BI] Criando MODELOS com Tabelas Dimensão e Fato a partir de Tabelões - Lives sobre Modelagem de Dados - Pilar 3 (powerbiexperience.com)



Espero poder ter ajudado, qualquer coisa estamos ai !

Abraço !

[Alexandre H. Moraes]

1 hora atrás, Márcio Carvalho disse:

Boa tarde

Segue resposta, espero ter ajudado.

1. Preciso uniformizar a nomenclatura das colunas para cada arquivo? A diferença nos títulos das colunas evita com que as tabelas sejam relacionadas ou eu posso forçar esse relacionamento manual na aba de Tabelas do PBI? -- Quanto sua importação for por pastas, por regra os arquivos devem conter a mesma estrutura, caso contrário você terá que tratar arquivo por arquivo desde que esses arquivos não estejam com a mesma estrutura
2. Essas colunas precisam está necessariamente na mesma ordem em todos os arquivos, ou o PBI consegue cruzar elas sem precisar organizar no arquivo base? Por exemplo, caso eu queira mesclar essas tabelas numa única. -- As colunas devem estar na mesma ordem, caso contrário irá dar problema.
3. É melhor eu trabalhar com esses arquivos em tabelas Fato separadas, ou seria melhor unificar numa tabela fato única? Seria melhor todos os arquivos estarem em uma mesma estrutura até para futuras manutenções, 
4. Caso eu opte por trabalhar com essas planilhas separado, teria que criar uma Tabela Dimensão para correlacioná-las? Sim, existe um termo chamado normalização de dados, nada mais é do retirar informações da tabela fato e transforma-las em dimensões, porém você deverá deixar alguma chave estrangeira para ser relacionada posteriormente
5. A tabela dimensão pode ser montada a partir da tabela fato? Se sim, qual seria a melhor estratégia para monta-la? Pode ser montada a partir da fato, conforme passado acima, procure sobre normalização de dados... Mas como disse, não se esqueça da chave estrangeira para você relacionar fato x dimensão posteriormente.

 

[Márcio Carvalho]

1 hora atrás, Alexandre H. Moraes disse:

 

Muito obrigado, pessoal!

 Vcs são 10👏🏼👏🏼👏🏼

[Márcio Carvalho]

1 hora atrás, Natan Fratta da Silva disse:

Bom dia Márcio, tudo bem 

Bom tentando ajudar com base no que você disse e sem ver o modelo, na minha opinião seria :

1 e 2 -  Quando você fala " Que as tabelas sejam relacionadas", você quer dizer relacionamento por alguma coluna entre as tabelas de cada ano. Ou se entendi um pouco, na verdade você precisa compilar e unir as tabelas de cada ano, criando uma única que reúna todos. Neste caso para que seja possível essa junção de todos em uma única tabela, você pode usar a Função "Acrescentar consultas" do Power Query. E para que funcione você vai precisar sim que todas as tabelas que forem juntadas, tenham o mesmo padrão (Mesmo nome das colunas, mesma ordem, mesmo tipo de dados em cada uma) caso contrario a junção apresentara inconsistências.

3 - Como você esta trabalhando com as mesmas informações nas tabelas, acredito que seria melhor você juntar tudo em uma única tabela fato.

4 - Em qualquer um dos casos (Tabelas separados, ou  uma única fato) sempre é recomendado conforme vimos no curso do Léo, que você trabalhe com dimensões e fatos. Mas neste caso especifico, com tabelas separadas precisaria sim de uma dimensão para não correr o risco dos relacionamentos "Muitos para Muitos" nas fatos. Agora caso use um único "Tabelão" dependendo ai do seu caso daria para usar as próprias colunas dela sim, falando superficialmente pois não vi  o modelo. Mas lembrando que é recomendado sim a criação de uma dimensão.

 

5 - Caso voce não tenha uma tabela para importar sendo a dimensão, você poderia duplicar sua tabela fato, e avaliar nela quais são as colunas de características (que precisariam estar na sua dimensão). Deixar somente estas colunas no modelo, e por exemplo ir "Removendo duplicatas" para deixar somente  1 linha para cada cadastro que vai estar na dimensão. Porém ai precisa avaliar certinho o modelo. Segue abaixo o link, de uma Live que o Léo cria dimensões a partir de Tabelas Fatos :

[Live #66 Mestre Power BI] Criando MODELOS com Tabelas Dimensão e Fato a partir de Tabelões - Lives sobre Modelagem de Dados - Pilar 3 (powerbiexperience.com)



Espero poder ter ajudado, qualquer coisa estamos ai !

Abraço !

Valeu, meu amigo!

 Muito obrigado pela indicação da Live… vou assistir com bastante atenção!