Databricks

3 questões neste fórum

1. Dataframe não é exibido corretamente [Curso Databricks com Spark da Xperiun- Aula 2, Módulo 5]

   Olá, bom dia! Estou enfrentando problemas para exibir o dataframe partidas_df na lição 2 do módulo 5 do curso. O código mostrado na aula é o abaixo, porém, quando vou exibir o dataframe, aparece desconfigurado como se estivesse com o encoding errado. nome_arquivo = 'partidas' caminho = f'{camada_silver}/{nome_arquivo}' partidas_df = spark.read.parquet(caminho) Acredito que isso ocorre por conta de os arquivos, em uma etapa anterior, terem sido divididos por ano do torneio, então, seria necessário mais alguma informação para que o spark lesse os arquivos. partidas_df_data.write.mode("overwrite").partitionBy('ano_torneio').parquet(f"{…

   Perguntado por Julia Azevedo Valim De Lira, Julho 9

   0 votos
   0 respostas
2. Falha ao criar cluster no DB (QuotaExceeded)

   Ao tentar criar um cluster no databricks, deu a seguinte mensagem de erro: Azure Quota Exceeded Exception: Error code: QuotaExceeded, error message: Operation could not be completed as it results in exceeding approved Total Regional Cores quota. Additional details - Deployment Model: Resource Manager, Location: brazilsouth, Current Limit: 4, Current Usage: 4, Additional Required: 8, (Minimum) New Limit Required: 12. Setup Alerts when Quota reaches threshold. Learn more at https://aka.ms/quotamonitoringalerting . Submit a request for Quota increase at https://aka.ms/ProdportalCRP/#blade/Microsoft_Azure_Capacity/UsageAndQuota.ReactView/Parameters/{"subscriptionId":"4…

   Perguntado por Anderson Santana, Maio 29

   • databricks
   • quota
   0 votos
   1 resposta
3. Problema ao salvar tabela externa

   Galera, estou rodando esse código, para salvar uma tabela no banco dentro da camada gold, mas só me retorna essa mensagem de erro que não consegui ainda entender como corrigir socios_df.write.format("parquet").option('path',f"{camada_gold}/SOCIOS_external").saveAsTable("base_cnpj.socios_table") Erro: AnalysisException: [UC_FILE_SCHEME_FOR_TABLE_CREATION_NOT_SUPPORTED] Creating table in Unity Catalog with file scheme bfs is not supported. Instead, please create a federated data source connection using the CREATE CONNECTION command for the same table provider, then create a catalog based on the connection with a CREATE FOREIGN CATALOG command to reference the tab…

   Perguntado por Iesus Magdiel Gonçalves Franco, Maio 11

   0 votos
   1 resposta