MERGE語句保存訂單嗎?(緩慢變化維度)

[TMNGB]

在處理多個源文件——可能,一個或多個實體版本/源——能夠使用MERGE語句同時保留訂單是關鍵,以確保正確的版本控製的實體版(又名,版本1從X到Y開始,然後是版本2 Y, Z,等等)。

然而,據我所知,沒有保證會處理的數據(合並)DataFrame根據訂單。有誰確認呢?

當前的方式繞過這是分別處理每個提取日期為MERGE語句然而,很緩慢的過程,因為Azure需要很長時間進行合並。

[werners1 · Accepted solution]

你能保證訂單的訂購你想要合並的dataframe或使用一個窗口函數(隻保留最近的記錄初版)。

upsert是一項昂貴的操作,所以根據需要評估的數據量可能需要一段時間。

可能有一些調整:

https://docs.microsoft.com/en-us/azure/databricks/kb/delta/delta-merge-into

[Noopur_Nigam]

嗨@Guilherme Banhudo我希望維爾納回答會幫助你。請讓我知道如果你還有疑問或查詢。