dbutils.fs。mv了三角洲表

[anmol_deep]

我有一個文件夾,包含多個三角洲表和一些鑲花表。我想將該文件夾移動到另一個路徑。當我使用dbutils.fs.mv(),它接受一個荒謬的時間。

[Hubert_Dudek1]

Dbutils是單線程,因此它可以像這樣。您可以使用複製或插入特別當兩個地方在metastore注冊。如果它是1:1複製我建議Azure數據工廠複製工具,因為它有大的吞吐量和便宜。從ADF可以觸發磚筆記本。從磚可以觸發ADF管道使用的應用程序邏輯。

[anmol_deep]

由於@Hubert杜德克!

實際上我想要刪除的文件夾。但是當我試圖這麼做的時候,我得到這個錯誤:shaded.databricks.org.apache.hadoop.fs.azure.AzureException: hadoop_azure_shaded.com.microsoft.azure.storage.StorageException:這個操作是不允許一個非空目錄。

這就是為什麼我轉向mv。

為單線程,你會建議使用python的線程庫和刪除每個三角洲表在一個線程?會是一個好主意,或者會產生意想不到的後果嗎?

[Hubert_Dudek1]

如果你想刪除遞歸您需要添加正確的。刪除快所以我認為它不合理編排整個管道。

dbutils.fs。rm(' /路徑”,真的)

[anmol_deep]

我有試過。它不工作,把我上麵提到的錯誤。(我添加遞歸= True)。

即使我嚐試刪除使用% sh rm射頻,同樣的錯誤發生。所有文件被刪除,除了這個文件夾:_delta_log。如果我想刪除它,它給了我上麵提到的錯誤