動態分區覆蓋為三角洲表

[SamCallister]

火花支持動態分區覆蓋為拚花表通過設置配置:

spark.conf.set (“spark.sql.sources.partitionOverwriteMode”、“動態”)

之前寫一個分區表。與達美表出現你需要手動指定哪個分區覆蓋

replaceWhere

https://docs.m.eheci.com/delta/delta-batch.html overwrite-using-dataframes

df。寫.format(“δ”).mode .option(“覆蓋”)(“replaceWhere”、“日期> = ' 2017-01-01 '和日期< = 2017-01-31”).save(“/δ/事件”)

δ有無論如何覆蓋分區表,而不必手動指定哪個分區應該覆蓋?

[匿名]

有更新嗎?我也注意到,配置spark.sql.sources。partitionOverwriteMode並不影響三角洲表。我能理解,我們堅持spark.databricks.optimizer動態覆蓋分區。dynamicPartitionPruning但隻有當用作連接鍵。

它會有用使用.option (“partitionOverwriteMode”、“動態”)插入覆蓋聲明

[ChristianHofste]

我仍在等待更新……

[Rajeswari]

我麵臨著同樣的問題。有一個更新/建議解決方案如何覆蓋Delta文件分區動態嗎?

[OndrejHavlicek]

似乎有一些不願意實現這個:

https://github.com/delta-io/delta/issues/348

但是有一個開放的公關:

https://github.com/delta-io/delta/pull/371