問題

您正在使用Azure數據存儲(ADLS)代湖。當你試圖訪問一個Azure Blob集群文件係統(沛富)路徑從一個磚,命令掛起。

啟用調試日誌,你可以看到以下的堆棧跟蹤司機日誌:

引起的:java。IOException:服務器返回的HTTP響應代碼:400為URL: https://login.microsoftonline.com/b9b831a9 - 6 - c10 - 40 - bf - 86 - f3 - 489 - ed83c81e8/oauth2/token sun.net.www.protocol.http.HttpURLConnection.getInputStream0 (HttpURLConnection.java: 1894) sun.net.www.protocol.http.HttpURLConnection.access 200美元(HttpURLConnection.java: 91) sun.net.www.protocol.http.HttpURLConnection sun.net.www.protocol.http.HttpURLConnection運行(HttpURLConnection.java: 1484) 9.美元9.美元(java.security.AccessController HttpURLConnection.java: 1482)運行。doPrivileged(本機方法)java.security.AccessController.doPrivilegedWithCombiner (AccessController.java: 782) sun.net.www.protocol.http.HttpURLConnection.getInputStream (HttpURLConnection.java: 1481) java.net.HttpURLConnection.getResponseCode (HttpURLConnection.java: 480) sun.net.www.protocol.https.HttpsURLConnectionImpl.getResponseCode (HttpsURLConnectionImpl.java: 347) shaded.databricks.v20180920_b33d810.org.apache.hadoop.fs.azurebfs.oauth2.AzureADAuthenticator.getTokenSingleCall (AzureADAuthenticator.java: 254)…31日更

導致

如果沛富集群配置在與一個錯誤的值屬性fs.azure.account.oauth2.client.id,或如果你試圖訪問一個顯式的形式abfss: / / myContainer@myStorageAccount.dfs.core.windows.net/..。在哪裏myStorageAccount不存在,那麼沛富司機最終在重試循環和變得反應遲鈍。命令將最終失敗,而是因為它重試很多次,它似乎是一個掛著命令。

如果你試圖訪問一個不正確的路徑與現有存儲帳戶,您將看到一個404錯誤消息。在這種情況下係統並不掛。

解決方案

你必須驗證所有憑證訪問沛富時數據的準確性。您還必須驗證沛富路徑你試圖訪問的存在。如果這些都是不正確的,這個問題發生。