刪除重複的表

[ChristianHofste]

你好,

有一個從δ函數來刪除數據表:

deltaTable = deltaTable。forPath(火花,“/數據/事件/”)deltaTable.delete(坳(“日期”)<“2017-01-01”)

但也有一種減少重複嗎?像deltaTable.dropDuplicates ()……

我不想讀dataframe整個表,把副本,並將它寫入存儲一次

[shyam_9]

嗨@Christian Hofstetter,

你可以在這裏檢查對於相同的信息, https://docs.delta.io/0.4.0/delta-update.html data-deduplication-when-writing-into-delta-tables