Olá, bom dia!
Estou enfrentando problemas para exibir o dataframe partidas_df na lição 2 do módulo 5 do curso.
O código mostrado na aula é o abaixo, porém, quando vou exibir o dataframe, aparece desconfigurado como se estivesse com o encoding errado.
nome_arquivo = 'partidas'
caminho = f'{camada_silver}/{nome_arquivo}'
partidas_df = spark.read.parquet(caminho)
Acredito que isso ocorre por conta de os arquivos, em uma etapa anterior, terem sido divididos por ano do torneio, então, seria necessário mais alguma informação para que o spark lesse os arquivos.
partidas_df_data.write.mode("overwrite").partitionBy('ano_torneio').parquet(f"{camada_silver}/partidas/")
Alguém, por gentileza, poderia me auxiliar? Como coloco no código para ele ler de forma dinâmica o conteúdo de cada pasta dentro da pasta "partidas"?