如何獲得一個快照的流δ表作為一個靜態表?

[麥當娜]

你好,

假設我有一個流δ表。有什麼辦法流表作為一個靜態表的快照嗎?

原因是,我需要加入這個流表與靜態表:

輸出=輸出。加入(country_information,“國家”,“左”)

“輸出”是一個靜態表和“country_information”是流表。

但是,我得到錯誤:

Append模式錯誤:LeftOuter加入流DataFrame /右邊的數據集和一個靜態DataFrame /左邊數據集不支持;

我也不能改變上麵的代碼為:

country_information = country_information。加入(輸出,“國家”,“左”)

因為邏輯是行不通的。

謝謝。

[Kaniz · Accepted solution]

嗨@Mohammad軍刀,是的,你可以嚐試這種方法

創建快照的時間戳

snapshot_time = " 2022-10-01就是"火花。sql (f“創建表snapshot_table_at_time SELECT * FROM streaming_table版本的{snapshot_time}”)

然後,您可以將其保存為一個數據幀。

snapshot_df = spark.read.format(“δ”)。選項(“timestampAsOf snapshot_time) .load (streaming_table) .toDF ()

謝謝你的問題。請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。