Databricks

4 questões neste fórum

1. Modulo 2, Aula 7 - Como conectar o seu Data Lake no Databricks Parte I

   Estou seguindo fielmente as instrucoes, nao estou encontrando o erro no meu codigo: dbutils.fs.ls("abfss://bronze@datalakexperiunjuan.dfs.core.windows.net/") Erro: Failure to initialize configuration for storage account datalakexperiunjuan.dfs.core.windows.net: Invalid configuration value detected for fs.azure.account.keyInvalid configuration value detected for fs.azure.account.key

   Perguntado por Juan Sorto, Setembro 16

   0 votos
   2 respostas
2. Falha ao criar cluster no DB (QuotaExceeded)

   Ao tentar criar um cluster no databricks, deu a seguinte mensagem de erro: Azure Quota Exceeded Exception: Error code: QuotaExceeded, error message: Operation could not be completed as it results in exceeding approved Total Regional Cores quota. Additional details - Deployment Model: Resource Manager, Location: brazilsouth, Current Limit: 4, Current Usage: 4, Additional Required: 8, (Minimum) New Limit Required: 12. Setup Alerts when Quota reaches threshold. Learn more at https://aka.ms/quotamonitoringalerting . Submit a request for Quota increase at https://aka.ms/ProdportalCRP/#blade/Microsoft_Azure_Capacity/UsageAndQuota.ReactView/Parameters/{"subscriptionId":"4…

   Perguntado por Anderson Santana, Maio 29

   • databricks
   • quota
   0 votos
   2 respostas
3. Dataframe não é exibido corretamente [Curso Databricks com Spark da Xperiun- Aula 2, Módulo 5]

   Olá, bom dia! Estou enfrentando problemas para exibir o dataframe partidas_df na lição 2 do módulo 5 do curso. O código mostrado na aula é o abaixo, porém, quando vou exibir o dataframe, aparece desconfigurado como se estivesse com o encoding errado. nome_arquivo = 'partidas' caminho = f'{camada_silver}/{nome_arquivo}' partidas_df = spark.read.parquet(caminho) Acredito que isso ocorre por conta de os arquivos, em uma etapa anterior, terem sido divididos por ano do torneio, então, seria necessário mais alguma informação para que o spark lesse os arquivos. partidas_df_data.write.mode("overwrite").partitionBy('ano_torneio').parquet(f"{…

   Perguntado por Julia Azevedo Valim De Lira, Julho 9

   0 votos
   1 resposta
4. Problema ao salvar tabela externa

   Galera, estou rodando esse código, para salvar uma tabela no banco dentro da camada gold, mas só me retorna essa mensagem de erro que não consegui ainda entender como corrigir socios_df.write.format("parquet").option('path',f"{camada_gold}/SOCIOS_external").saveAsTable("base_cnpj.socios_table") Erro: AnalysisException: [UC_FILE_SCHEME_FOR_TABLE_CREATION_NOT_SUPPORTED] Creating table in Unity Catalog with file scheme bfs is not supported. Instead, please create a federated data source connection using the CREATE CONNECTION command for the same table provider, then create a catalog based on the connection with a CREATE FOREIGN CATALOG command to reference the tab…

   Perguntado por Iesus Magdiel Gonçalves Franco, Maio 11

   0 votos
   1 resposta