磚Azure Blob存儲訪問

[塔裏克]

我想訪問文件存儲在Azure blob存儲和跟隨下麵的文檔鏈接:

https://docs.m.eheci.com/external-data/azure-storage.html

我成功地安裝了Azure blob存儲dbfs但似乎這個方法不推薦了。所以,我試圖使用URI設置直接訪問後使用SAS身份驗證。

spark.conf.set (“fs.azure.account.auth.type。< storage-account > .dfs.core.windows.net”、“sa”) spark.conf.set (“fs.azure.sas.token.provider.type。< storage-account > .dfs.core.windows.net”,“org.apache.hadoop.fs.azurebfs.sas.FixedSASTokenProvider”) spark.conf.set (“fs.azure.sas.fixed.token。< storage-account > .dfs.core.windows.net”,“<標記>”)

現在當我試圖訪問任何文件使用:

spark.read.load (“abfss: / / <容器名稱> @ < storage-account-name >.dfs.core.windows.net/ < path-to-data >”)

我得到以下錯誤:

操作失敗:“服務器對請求進行身份驗證失敗。確保授權頭形成正確的價值包括簽名。",403年,頭,

這個工作需要改變什麼?

[Debayan]

嗨@Tarique瓦爾,你能請參考https://learn.microsoft.com/en-us/answers/questions/334786/azure-blob-storage-fails-to-authenticate-..。

請讓我們知道如果這可以幫助嗎?

[Vidula_Khanna]

嗨@Tarique安瓦爾

@Debayan穆克吉反應回答你的問題嗎?如果是的,你會很高興它標記為最好,其他成員可以找到解決方案更快嗎?

我們很想聽到你的聲音。

謝謝!

[ravinchi]

@Debayan慕克吉@Tarique安華@Vidula卡納

即使我們麵臨這個問題在創建表從磚sql。

創建表測試使用“abfss: / /δ位置[container_name] @ [storage_account].dfs.core.windows.net/'

我們創建了external_location, storage_credentail access_connector id。並提供存儲blob數據貢獻者角色訪問conenctor id。這是工作直到前天,昨天不是。得到以下錯誤

“AuthenticationFailed服務器對請求進行身份驗證失敗。確保授權頭形成正確的價值包括簽名”

我跟著鏈接共享-https://learn.microsoft.com/en-us/answers/questions/334786/azure-blob-storage-fails-to-authenticate-..。隨著堆棧溢出https://stackoverflow.com/questions/24492790/azurestorage-blob-server-failed-to-authenticate-the-req..。指出但仍然沒有運氣。

如果我們必須控製api版本的頭,是不是控製磚嗎?當我們使用磚sql。

[Debayan]

嗨,@Ravindra Ch,請檢查防火牆設置在Azure網絡嗎?