取消
顯示的結果
而不是尋找
你的意思是:

改變數據提要磚

Mihai_Cog
新的因素

你好,

我正在做一些測試與這個特性變化數據提要使用磚和Pyspark,當然三角洲格式和我不明白一些事情:

  1. 我創建了一個表
  2. 裏麵保存一些數據
  3. 改變數據提要功能啟用
  4. 應用一個合並的dataframe包括插入、刪除、更新
    火花。sql(“合並到測試使用src在年代t。Id = t。Id和年代。date_field = t.date_field當匹配更新設置*WHEN NOT MATCHED THEN INSERT * WHEN NOT MATCHED BY SOURCE THEN DELETE')
  5. 檢查數據

SELECT * FROM table_changes(‘表’,2);版本是2

我觀察到的行ID(例如234123)出現兩次。_change_type列我第一occurernce update_preimage,第二喘振update_postimage。

我會說這是正常的事情,因為可能出現兩次改變了ID,但是如果我檢查每個值都出現我明白了沒有變化。

這是正常嗎?

6個回答6

Tharun-Kumar
尊敬的貢獻者
尊敬的貢獻者

@Mihai_Cog

你必須把你的merge語句分成2部分。(更新和插入/刪除)。

合並到測試使用src在年代t。Id = t。Id和年代。date_field = t.date_field和s。<字段> t.fields當匹配更新設置*

合並到測試使用src在年代t。Id = t。Id和年代。date_field = t.date_fieldWHEN NOT MATCHED THEN INSERT * WHEN NOT MATCHED BY SOURCE THEN DELETE

在第一個語句,您必須包括所有的列,你如果不想更新發生相同的值,然後執行更新。第二個語句將幫助您插入和刪除記錄。

我非常感謝你的幫助。

如果我有任何其他的問題,我會回來的:winking_face_with_tongue:

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map