Ir para conteúdo
  • 0

Dataframe não é exibido corretamente [Curso Databricks com Spark da Xperiun- Aula 2, Módulo 5]


Julia Azevedo Valim De Lira

Pergunta

  • Alunos

Olá, bom dia!

 

Estou enfrentando problemas para exibir o dataframe partidas_df na lição 2 do módulo 5 do curso.

O código mostrado na aula é o abaixo, porém, quando vou exibir o dataframe, aparece desconfigurado como se estivesse com o encoding errado.

 

nome_arquivo = 'partidas'
caminho = f'{camada_silver}/{nome_arquivo}'
partidas_df = spark.read.parquet(caminho)

 

Acredito que isso ocorre por conta de os arquivos, em uma etapa anterior, terem sido divididos por ano do torneio, então, seria necessário mais alguma informação para que o spark lesse os arquivos.

partidas_df_data.write.mode("overwrite").partitionBy('ano_torneio').parquet(f"{camada_silver}/partidas/")

Alguém, por gentileza, poderia me auxiliar? Como coloco no código para ele ler de forma dinâmica o conteúdo de cada pasta dentro da pasta "partidas"?

 

image.png.c09845e49276d6f291bdc13262305b40.pngimage.png.5a8319514a9d813f335b0ec5e90f1128.png

Link para o comentário
Compartilhar em outros sites

0 respostass a esta questão

Posts Recomendados

Até agora não há respostas para essa pergunta

Faça login para comentar

Você vai ser capaz de deixar um comentário após fazer o login



Entrar Agora
×
×
  • Criar Novo...