Azure數據配置問題:湖dfs.adls.oauth2.access.token沒有值。供應商在配置文件中找到。

[微安]

你好,

我有文件駐留在一個湖Azure數據存儲從Azure磚,我可以連接配置為每條指令。

我可以讀取JSON文件很好,但是,我得到以下錯誤當我試著讀一個Avro文件。

spark.read.format (“com.databricks.spark.avro”) .load(“誹謗聯盟:/ /blah.azuredatalakestore.net/blah/blah.avro”)

dfs.adls.oauth2.access.token IllegalArgumentException:你‘不值。供應商在配置文件中找到。”

我確保運行的文件存在

dbutils.fs.ls(“誹謗聯盟:/ /blah.azuredatalakestore.net/blah/blah.avro”)

請注意,錯誤是指

dfs.adls.oauth2.access.token.provider

不

dfs.adls.oauth2.access.token.provider.type

上麵提到的文檔。即使我設置它,它還是會把同樣的錯誤。

有人經曆過這個問題嗎?請讓我知道什麼我應該進一步解決。謝謝。

[AshitabhKumar]

隻是發現了問題的解決方法avro文件讀取操作作為dfs.adls.oauth2.access.token似乎正確的配置。提供者不設置裏麵。如果反誹謗聯盟文件夾是安裝在databrick筆記本,然後工作。請嚐試以下步驟

1。山adl文件夾

(“dfs.adls.oauth2.access.token.provider val款=地圖。輸入“- >”ClientCredential”、“dfs.adls.oauth2.client。id”- >“XXX”、“dfs.adls.oauth2。憑證”- >“多”、“dfs.adls.oauth2.refresh。url”- >“https://login.microsoftonline.com/ZZZ/oauth2/token”、“dfs.adls.oauth2.access.token.provider”- >“org.apache.hadoop.fs.adls.oauth2.ConfCredentialBasedAccessTokenProvider”)

dbutils.fs。山(源=“誹謗聯盟:/ /XYZ.azuredatalakestore.net/myfolder/demo/”,掛載點=“/ mnt / mymount”, extraConfigs =配置)

2。驗證您的文件是可見的山上

dbutils.fs.ls (“dbfs: / mnt / ashitabh3”)

進口com.databricks.spark.avro._

spark.read.avro (“dbfs: / mnt / mymount / mydata.avro”),告訴

我現在可以看到記錄

[MichaelParque]

謝謝你的解決方案。

Avro無關我也有過類似問題,但在保存一個火花ADLS毫升模型。甚至手動設置的屬性:

dfs.adls.oauth2.access.token.providerorg.apache.hadoop.fs.adls.oauth2.ConfCredentialBasedAccessTokenProvider

當集群設置火花會導致試圖拯救直接adl時錯誤消息:

dfs.adls.oauth2.access.token IllegalArgumentException:你‘不值。供應商在配置文件中找到。”

安裝後adl文件夾,保存工作正常。

[SmitShah]

嗨,邁克爾,

你找到其他的方法嗎?我試圖TF記錄寫入ADLS甚至得到同樣的錯誤設置此配置。

traindf.repartition (32) .write.format (tfrecords) .mode(“覆蓋”)。選項(“recordType”、“示例”).save (“ADLS_URL /我/路徑”)

[_not_provid1608]

我也可以確認您的解決方案是有效的。但是,它需要很長時間來安裝它。主要的問題是為什麼這個解決方案需要在第一時間。希望磚將提供一些官方回應。