取消
顯示的結果
而不是尋找
你的意思是:

我們在山ADLS真空在外部表

ravikanthranjit
新的貢獻者三世

想知道最好的流程優化和真空幹燥後刪除文件ADLS運行完成

6個回答6

ravikanthranjit
新的貢獻者三世

信用對一個社區的成員,我把代碼文件的存在

ravikanthranjit
新的貢獻者三世

想知道社區成員反饋以下代碼可以被指定為特定的工作表,這可以參數化和運行。

但這是最好的方法來管理(刪除不必要的文件δ外部存儲在ADLS)的表。請讓我知道。

def file_exists_delete(路徑):嚐試:dbutils.fs.ls(路徑)dbutils.fs.rm(路徑)打印(“刪除文件”+路徑)返回True除了異常e:如果io。FileNotFoundException”str (e):返回False:提高#分離細胞中複製火花。sql(“優化tbl_name”) df =火花。sql(“真空tbl_name保持0小時排練”)#分離細胞中複製df_collect = df.collect() #在分離細胞和執行複製行df_collect: file_exists_delete(行[0])

werners1
尊敬的貢獻者三世

不從三角洲湖表手動刪除文件。這就是為什麼真空的存在。

它會導致腐敗的表。

為什麼不直接運行真空幹燥的運行?

werners1
尊敬的貢獻者三世

真空會刪除不使用文件(沒有排練選項),根據保留時間間隔。

檢查這個話題

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map