取消
顯示的結果
而不是尋找
你的意思是:

動態分區覆蓋為三角洲表

SamCallister
新的貢獻者二世

火花支持動態分區覆蓋為拚花表通過設置配置:

spark.conf.set (“spark.sql.sources.partitionOverwriteMode”、“動態”)

之前寫一個分區表。與達美表出現你需要手動指定哪個分區覆蓋

replaceWhere
https://docs.m.eheci.com/delta/delta-batch.html overwrite-using-dataframes

df。寫.format(“δ”).mode .option(“覆蓋”)(“replaceWhere”、“日期> = ' 2017-01-01 '和日期< = 2017-01-31”).save(“/δ/事件”)

δ有無論如何覆蓋分區表,而不必手動指定哪個分區應該覆蓋?

8回答說8

MichaelDavidson
新的貢獻者二世

我想好將會為您創建一個文件夾/分區每FILE_DATE,因為你可能不需要重寫所有文件,隻有一個特定的FILE_DATE必須重寫。

thetermpapers.org

我不知道這個回答了這個問題。請不要在本論壇垃圾郵件question-irrelevant鏈接. .

MikeLivshutz
新的貢獻者三世

動態分區覆蓋在磚11.1的實現

https://docs.m.eheci.com/delta/selective-overwrite.html

alijen
新的因素

@SamCallister寫道:

火花支持動態分區覆蓋為拚花表通過設置配置:

spark.conf.set (“spark.sql.sources.partitionOverwriteMode”、“動態”)

之前寫一個分區表。與達美表出現你需要手動指定哪個分區覆蓋

replaceWhere

thttps: / /docs.m.eheci.com/delta/delta-batch.html # overwrite-using-dataframes色盲測試

df。寫.format(“δ”).mode .option(“覆蓋”)(“replaceWhere”、“日期> = ' 2017-01-01 '和日期< = 2017-01-31”).save(“/δ/事件”)

δ有無論如何覆蓋分區表,而不必手動指定哪個分區應該覆蓋?


我也折騰了,很難找到教程。幫助我

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map