Databricks

9 questões neste fórum

1. Erro Módulo 4 - Aula 4

   Ola pessoal! Estou seguindo a aula, 4 do módulo 4, e o erro abaixo...estou fazendo igual o professor. Conseguem ajudar?

   Perguntado por Thiago Pedrazi, Maio 28

   0 votos
   0 respostas
2. Módulo 2 - aula 7

   olá, seguindo os passos da aula estou recebendo erro de versão diferente entre cliente e servidor. alguém consegue me ajudar a resolver?

   Perguntado por Rafael Cesar Ferreira Oliveira, Maio 2

   • databricks
   0 votos
   4 respostas
3. Modulo 2, Aula 7 - Como conectar o seu Data Lake no Databricks Parte I

   Estou seguindo fielmente as instrucoes, nao estou encontrando o erro no meu codigo: dbutils.fs.ls("abfss://[email protected]/") Erro: Failure to initialize configuration for storage account datalakexperiunjuan.dfs.core.windows.net: Invalid configuration value detected for fs.azure.account.keyInvalid configuration value detected for fs.azure.account.key

   Perguntado por Juan Sorto, Setembro 16, 2024

   0 votos
   6 respostas
4. Erro ao configurar o Storage

   Estou seguindo os comandos igual a aula , mas ao executar o comando display(dbutils.fs.ls("abfss://[email protected]/")) Apresenta esse erro e eu não sei como resolver: Operation failed: "This request is not authorized to perform this operation using this permission.", 403, GET, https://datalakexperiun96.dfs.core.windows.net/bronze?upn=false&resource=filesystem&maxResults=5000&timeout=90&recursive=false, AuthorizationPermissionMismatch, "This request is not authorized to perform this operation using this permission. RequestId:47cde807-601f-0031-41da-7f7805000000 Time:2025-02-15T18:47:32.6649367Z" ---…

   Perguntado por Izabela Mossini, Fevereiro 15

   0 votos
   3 respostas
5. Módulo 5 - Desafio Estadio + Partidas

   Fiz todo o procedimento e no final deu erro dizendo que a coluna data_ingestão já existe e com isso não consigo salvar o arquivo na pasta gold A última execução falhou 16 16 1 partidas_estadios.write.mode("overwrite").parquet(caminho_saida_) (1) trabalhos Spark AnalysisException: [COLUMN_ALREADY_EXISTS] The column `data_ingestão` already exists. Consider to choose another name or rename the existing column. --------------------------------------------------------------------------- AnalysisException Traceback (most recent call last) File <command-7548610405949442>, line 1 ----> 1 partidas_estadios.write.mode("over…

   Perguntado por Rogerio Nogueira Borges, Fevereiro 23

   0 votos
   0 respostas
6. Curso Databricks com spark - Portifólio

   Boa tarde, pessoal, alguém sabe como colocar o curso de databricks no portifólio? Obrigado.

   Perguntado por Leocampos, Novembro 1, 2024

   0 votos
   5 respostas
7. Falha ao criar cluster no DB (QuotaExceeded)

   Ao tentar criar um cluster no databricks, deu a seguinte mensagem de erro: Azure Quota Exceeded Exception: Error code: QuotaExceeded, error message: Operation could not be completed as it results in exceeding approved Total Regional Cores quota. Additional details - Deployment Model: Resource Manager, Location: brazilsouth, Current Limit: 4, Current Usage: 4, Additional Required: 8, (Minimum) New Limit Required: 12. Setup Alerts when Quota reaches threshold. Learn more at https://aka.ms/quotamonitoringalerting . Submit a request for Quota increase at https://aka.ms/ProdportalCRP/#blade/Microsoft_Azure_Capacity/UsageAndQuota.ReactView/Parameters/{"subscriptionId":"4…

   Perguntado por Anderson Santana, Maio 29, 2024

   • databricks
   • quota
   0 votos
   2 respostas
8. Dataframe não é exibido corretamente [Curso Databricks com Spark da Xperiun- Aula 2, Módulo 5]

   Olá, bom dia! Estou enfrentando problemas para exibir o dataframe partidas_df na lição 2 do módulo 5 do curso. O código mostrado na aula é o abaixo, porém, quando vou exibir o dataframe, aparece desconfigurado como se estivesse com o encoding errado. nome_arquivo = 'partidas' caminho = f'{camada_silver}/{nome_arquivo}' partidas_df = spark.read.parquet(caminho) Acredito que isso ocorre por conta de os arquivos, em uma etapa anterior, terem sido divididos por ano do torneio, então, seria necessário mais alguma informação para que o spark lesse os arquivos. partidas_df_data.write.mode("overwrite").partitionBy('ano_torneio').parquet(f"{…

   Perguntado por Julia Azevedo Valim De Lira, Julho 9, 2024

   0 votos
   1 resposta
9. Problema ao salvar tabela externa

   Galera, estou rodando esse código, para salvar uma tabela no banco dentro da camada gold, mas só me retorna essa mensagem de erro que não consegui ainda entender como corrigir socios_df.write.format("parquet").option('path',f"{camada_gold}/SOCIOS_external").saveAsTable("base_cnpj.socios_table") Erro: AnalysisException: [UC_FILE_SCHEME_FOR_TABLE_CREATION_NOT_SUPPORTED] Creating table in Unity Catalog with file scheme bfs is not supported. Instead, please create a federated data source connection using the CREATE CONNECTION command for the same table provider, then create a catalog based on the connection with a CREATE FOREIGN CATALOG command to reference the tab…

   Perguntado por Iesus Magdiel Gonçalves Franco, Maio 11, 2024

   0 votos
   1 resposta