是的沒有問題。
我有一個python程序,稱為“後攝取”,夜裏磚工作集群上運行,包括:
- 插入數據到deltalake表
- 執行一個優化命令表
- 命令執行一個真空表
- 然後我使用dbutils命令複製這個三角洲的文件夾包含的數據表到另一個文件夾(我實驗室和調度數據qal磚工作空間)
有時,複製失敗404錯誤:
. io .FileNotFoundException:操作失敗:指定的路徑不存在。”,404年,https://icmfcprddls001.dfs.core.windows.net/prd/curated/common/AS400/AS400.BC300.FT3RCPV/_delta_log/..。PathNotFound,指定的路徑不存在。RequestId: e31cc75e - b01f - 0042 - 1858 - c23924000000時間:2022 - 09 - 07 - t01:26:06.8939739z
當發生錯誤時,沒有其他程序使用增量表
在早上,當我重新運行本,一切運行良好。
他們問我添加這個參數來獲得更多的細節關於火花操作。但是我想知道這個參數做什麼,女士並沒有能夠給我更多的信息
