取消
顯示的結果
而不是尋找
你的意思是:

更新代碼流生產工作

User16783853906
因素二世

如何更新一個流生產工作以最小的/不停機時間有重大更改代碼可能不兼容現有的檢查點狀態恢複流處理?

1接受解決方案

接受的解決方案

Deepak_Bhutada
貢獻者三世
  1. 請理解代碼更改將支持現有的檢查點,否則你需要去新的檢查點。更多信息的類型變化:https://docs.m.eheci.com/spark/latest/structured-streaming/production.html變化的類型
  2. 如果你用一個新的關卡然後沒有提及任何起點的獲取來源,整個框架將獲取的數據來源。在這種情況下,您應該能夠處理重複或其他副本將被添加到水槽裏。處理重複,可以實現dropDruplicates或合並或者row_number等級1的過濾。

在原帖子查看解決方案

5回複5

Anand_Ladda
尊敬的貢獻者二世

這可能會用例/情況相關。你能提供一個例子,你當前的流媒體設置和你期待什麼樣的變化,你想執行以最少的停機時間?

Deepak_Bhutada
貢獻者三世
  1. 請理解代碼更改將支持現有的檢查點,否則你需要去新的檢查點。更多信息的類型變化:https://docs.m.eheci.com/spark/latest/structured-streaming/production.html變化的類型
  2. 如果你用一個新的關卡然後沒有提及任何起點的獲取來源,整個框架將獲取的數據來源。在這種情況下,您應該能夠處理重複或其他副本將被添加到水槽裏。處理重複,可以實現dropDruplicates或合並或者row_number等級1的過濾。

Sandeep
貢獻者三世

你能提供源和彙類型嗎?

Himanshi
新的貢獻者三世

我也有同樣的場景中,我使用源類型一樣拚花和水槽類型三角洲湖Gen2 Azure數據。我需要更改檢查點位置,我們如何排除現有的文件?。不使用自動裝卸機功能我們能做,請證實。

請盡快幫助

謝謝

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map