我有一些python代碼將檢查機關文件從一個adlsv2位置合並成三角洲表(作為一個工作流運行的工作安排)
我試著抓住包裝這所以失敗,任何文件得到進入使用dbutils.fs文件夾失敗。mv時處理的文件歸檔到另一個位置
我遇到一個場景是這樣的:
外部上傳somefile上傳過程。鑲木地板,adlsv2
——工作流的工作開始
——spark.read.parquet()失敗,造成的:. io .IOException:不能讀文件頁腳:
——dbutils.fs。mv移動文件(噓)
——外部過程失敗因為mv刪除目標在上傳過程中
我認為mv會失敗,因為會有獨占鎖在文件上傳,但情況並非如此(? ?)
任何建議如何處理呢?
有沒有辦法讓我檢查一個文件是否鎖定/被寫入?
有什麼錯誤/異常捕獲這個錯誤嗎?我花了一個小時(s)試圖弄明白,但通用的python的不覆蓋它,我得到一個nameerror特定火花的我試一試
