更新代碼流生產工作

[User16783853906]

如何更新一個流生產工作以最小的/不停機時間有重大更改代碼可能不兼容現有的檢查點狀態恢複流處理?

[Anand_Ladda]

這可能會用例/情況相關。你能提供一個例子,你當前的流媒體設置和你期待什麼樣的變化,你想執行以最少的停機時間?

[Deepak_Bhutada · Accepted solution]

1. 請理解代碼更改將支持現有的檢查點,否則你需要去新的檢查點。更多信息的類型變化:https://docs.m.eheci.com/spark/latest/structured-streaming/production.html變化的類型
2. 如果你用一個新的關卡然後沒有提及任何起點的獲取來源,整個框架將獲取的數據來源。在這種情況下,您應該能夠處理重複或其他副本將被添加到水槽裏。處理重複,可以實現dropDruplicates或合並或者row_number等級1的過濾。

[Sandeep]

你能提供源和彙類型嗎?

[Himanshi]

我也有同樣的場景中,我使用源類型一樣拚花和水槽類型三角洲湖Gen2 Azure數據。我需要更改檢查點位置,我們如何排除現有的文件?。不使用自動裝卸機功能我們能做,請證實。

請盡快幫助

謝謝