取消
顯示的結果
而不是尋找
你的意思是:

刪除和添加在三角洲的道路

KKo
貢獻者三世

我從策劃刪除數據路徑根據日期列在每次運行和附加數據,使用下麵的腳本。我擔心的是,就在刪除操作後,如果出現任何網絡問題,工作停止之前附加curated_path分段數據。三角洲湖(ACID屬性)如何處理這種情況,這個回滾到之前的狀態,因為它沒有添加了數據?

或如何刪除和添加適當的三角洲湖避免數據丟失嗎?

提前謝謝! !

df_curated = spark.read.format(δ).load (curated_path)

df_curated.createOrReplaceTempView (“curated_view”)

是= "刪除從curated_view日期> = " +“{}”.format (daysback_date)

spark.sql(是)

df_staged.write.partitionBy (“”) .format(δ).mode(“追加”).save (curated_path)

3回複3

Hubert_Dudek1
尊敬的貢獻者三世

是的,δ是酸,所以應該可以正常工作。作為一種替代方法,您可以考慮合並(我敢打賭,你想更換日期和更新)

https://learn.microsoft.com/en-us/azure/databricks/sql/language-manual/delta-merge-into

Aviral-Bhardwaj
尊敬的貢獻者三世

感謝的人

Kaniz
社區經理
社區經理

嗨@Kris柯伊拉臘,我們一直沒有收到你自從上次反應@Hubert杜德克,我檢查,看看他的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map