嗨@Kaniz Fatma !請轉達我的請求到開發團隊——讓dbutils。fs命令更快。實現多線程/多處理似乎dbutils。fs命令是單線程的。如果這不是最好的地方分享反饋,讓我知道我在哪裏可以這樣做。
由於@Hubert杜德克!
實際上我想要刪除的文件夾。但是當我試圖這麼做的時候,我得到這個錯誤:shaded.databricks.org.apache.hadoop.fs.azure.AzureException: hadoop_azure_shaded.com.microsoft.azure.storage.StorageException:這個操作是不允許一個非空目錄。
這就是為什麼我轉向mv。
為單線程,你會建議使用python的線程庫和刪除每個三角洲表在一個線程?會是一個好主意,或者會產生意想不到的後果嗎?
如果你想刪除遞歸您需要添加正確的。刪除快所以我認為它不合理編排整個管道。
dbutils.fs。rm(' /路徑”,真的)
我有試過。它不工作,把我上麵提到的錯誤。(我添加遞歸= True)。
即使我嚐試刪除使用% sh rm射頻,同樣的錯誤發生。所有文件被刪除,除了這個文件夾:_delta_log。如果我想刪除它,它給了我上麵提到的錯誤