三角洲添加一個新的分區使舊分區不可讀

[User16826994223]

在筆記本,我的代碼讀取和寫入數據到三角洲,δ是由calendar_date分區。初始加載後我能讀delta文件和數據很好。但在第二次加載數據為6個月,前麵partitons不加載通常使用三角洲格式。這樣的閱讀我的源三角洲文件扔我錯誤說文件不存在。

spark.read.format(“δ”)。負載(“/ mnt / kgaurav /表/ calendar_date = 2018-10-04 /”)

然而閱讀下麵就沒問題任何知道可能是錯的

spark.conf.set spark.read.format (“spark.databricks.delta.formatCheck.enabled”,“假”)(“鋪”).load (“/ mnt / kgaurav /表/ calendar_date = 2018 -

[User16826994223 · Accepted solution]

我認為你寫的數據覆蓋模式。在三角洲甚至幾天不刪除數據覆蓋模式寫的版本,你隻可以查詢最新的數據,

但在格式拚花如果你閱讀使用刪除文件還這就是為什麼你可以得到這些數據。

v =火花。sql (f”描述曆史三角洲。“{path}”限製2”)version = v.take (2) [1] [0] df = spark.read.format(“δ”)。選項(“versionAsOf”版本).load(路徑))