工作失敗由於數據湖Azure存儲(ADLS)創建的限製

學習做什麼當你磚的工作失敗由於數據湖Azure存儲創建的限製。

寫的亞當Pavlacka

去年發表在:2022年5月11日

問題

當您運行在Azure的工作涉及創建文件數據存儲(ADLS)湖,Gen1或者代,發生以下異常:

引起的:java。IOException:創建失敗與錯誤0 x83090c25(文件和文件夾被創建的速度過高)。[745 c5836 - 264 - e - 470 - c - 9人私下偷偷收藏盒式c605f1c100f5]失敗與錯誤0 x83090c25(文件和文件夾被創建的速度過高)。(2019 - 04 - 12 - t10:06:43.1117197 07:00] [ServerRequestId: 745 c5836 - 264 - e - 470 - c - 9人私下偷偷收藏盒式c605f1c100f5]在com.microsoft.azure.datalake.store.ADLStoreClient.getRemoteException (ADLStoreClient.java: 1191) com.microsoft.azure.datalake.store.ADLStoreClient.getExceptionFromResponse (ADLStoreClient.java: 1154) com.microsoft.azure.datalake.store.ADLStoreClient.createFile (ADLStoreClient.java: 281) com.databricks.adl.AdlFileSystem.create (AdlFileSystem.java: 348) com.databricks.spark.metrics.FileSystemWithMetrics.create (FileSystemWithMetrics.scala: 280) com.databricks.backend.daemon.data.client.DatabricksFileSystemV2 anonfun創造1美元美元美元anonfun應用10美元anonfun申請美元11.美元申請(DatabricksFileSystemV2.scala: 483)

導致

每個ADLS訂閱級別的數量有一個限製的文件可以創建單位的時候,雖然限製可能有所不同取決於您使用的是ADLS Gen1或者代。超過限製時,文件創建壓製,工作失敗。

對這個錯誤潛在原因包括:

  • 您的應用程序創建大量小文件。
  • 外部應用程序創建大量的文件。
  • 當前限製訂閱太低了。

解決方案

如果您的應用程序或外部應用程序生成大量的文件,那麼您需要優化應用程序。如果限製當前訂閱不適合您的用例,然後聯係微軟Azure團隊尋求幫助。

這篇文章有用嗎?