ABFSS上磚集群的Init腳本的位置

[KJ_Saravana]

你好,

我有一個init腳本DBFS工作位置在集群啟動,但當相同的shell腳本文件放在ABFSS位置(ADLS Gen 2存儲)我得到以下init腳本失敗錯誤和集群無法開始。

錯誤信息:“集群範圍的init腳本abfss: / /(電子郵件保護)/ XXXXX RP_Test / pyodbc-install。sh失敗:失敗初始化配置存儲賬戶XXXX.dfs.core.windows.net fs.azure.account檢測到無效的配置值。鍵,造成的:無效的配置值檢測fs.azure.account.key”

在集群上我確保檢查選擇“啟用用戶級數據訪問憑據透傳”和我的用戶帳戶存儲blob貢獻者訪問。

相同的文件,ABFSS DBFS不工作,有什麼我之前應該檢查或配置訪問這個文件雲存儲?

[karthik_p]

@Saravana KJ看起來有些步驟是失蹤的關鍵,請檢查是否所有步驟遵循從下麵文章和測試https://www.mssqltips.com/sqlservertip/6499/reading-and-writing-data-in-azure-data-lake-storage-gen-..。

[alexott · Accepted solution]

訪問init腳本ADLS Hadoop API使用所以你需要提供正確的火花配置使用屬性由spark.hadoop前綴。例如,如果您使用服務主體,需要下列屬性(來自起程拓殖的示例

spark.hadoop.fs.azure.account.auth。OAuth spark.hadoop.fs.azure.account.oauth.provider類型。org.apache.hadoop.fs.azurebfs.oauth2類型。ClientCredsTokenProvider spark.hadoop.fs.azure.account.oauth2.client.endpointhttps://login.microsoftonline.com/ < azure_tenant_id > / oauth2 /令牌spark.hadoop.fs.azure.account.oauth2.client。id < azure_client_id > spark.hadoop.fs.azure.account.oauth2.client。秘密{{秘密/ < azure_client_secret_secret_scope > / < azure_client_secret_secret_key >}}

[KJ_Saravana]

嗨@Alex奧特

非常感謝,澄清。現在我明白,這可能是通過一個起程拓殖集群設置通過提供憑據ADLS客戶機id、租戶id和秘密。這是否意味著我們不能設置集群使用磚UI當我們需要訪問的init腳本ABFSS位置嗎?我不能硬編碼ADLS憑證在高級選項- >火花配置部分。

[alexott]

你可以通過設置UI或REST API——沒有問題,你隻需要提供必要的火花配置選項中列出的代碼塊