取消
顯示的結果
而不是尋找
你的意思是:

dbutils.fs。mv了三角洲表

anmol_deep
新的貢獻者三世

我有一個文件夾,包含多個三角洲表和一些鑲花表。我想將該文件夾移動到另一個路徑。當我使用dbutils.fs.mv(),它接受一個荒謬的時間。

1接受解決方案

接受的解決方案

anmol_deep
新的貢獻者三世

嗨@Kaniz Fatma !請轉達我的請求到開發團隊——讓dbutils。fs命令更快。實現多線程/多處理似乎dbutils。fs命令是單線程的。如果這不是最好的地方分享反饋,讓我知道我在哪裏可以這樣做。

在原帖子查看解決方案

10個回答10

Hubert_Dudek1
尊敬的貢獻者三世

Dbutils是單線程,因此它可以像這樣。您可以使用複製或插入特別當兩個地方在metastore注冊。如果它是1:1複製我建議Azure數據工廠複製工具,因為它有大的吞吐量和便宜。從ADF可以觸發磚筆記本。從磚可以觸發ADF管道使用的應用程序邏輯。

anmol_deep
新的貢獻者三世

由於@Hubert杜德克!

實際上我想要刪除的文件夾。但是當我試圖這麼做的時候,我得到這個錯誤:shaded.databricks.org.apache.hadoop.fs.azure.AzureException: hadoop_azure_shaded.com.microsoft.azure.storage.StorageException:這個操作是不允許一個非空目錄。

這就是為什麼我轉向mv。

為單線程,你會建議使用python的線程庫和刪除每個三角洲表在一個線程?會是一個好主意,或者會產生意想不到的後果嗎?

Hubert_Dudek1
尊敬的貢獻者三世

如果你想刪除遞歸您需要添加正確的。刪除快所以我認為它不合理編排整個管道。

dbutils.fs。rm(' /路徑”,真的)

anmol_deep
新的貢獻者三世

我有試過。它不工作,把我上麵提到的錯誤。(我添加遞歸= True)。

即使我嚐試刪除使用% sh rm射頻,同樣的錯誤發生。所有文件被刪除,除了這個文件夾:_delta_log。如果我想刪除它,它給了我上麵提到的錯誤

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map