改變洗牌。分區與火花。參看火花流-不尊重甚至在一個檢查站

[alonisser]

問題在運行流引發檢查點和偏移量

當流開始我需要大量的分區,所以我們把它與火花。參看5000

如預期補償在檢查站包含這個信息和工作使用這個值。

然後我們停止了工作,和分區的數量改為400,火花。再次相依

我預計下一批仍在使用前一個值(因為在抵消),但當新計算偏移量(當前批處理結束時)使用新的價值需要天天我看到5000年的價值還在新創建的補償。

雖然一些任務的工作現在使用新的400號碼,其他任務使用5000號!這基本上是殺死我們。

我很確定先前版本的火花(這工作是火花3.2磚10.2運行時)按預期工作,但這份工作不再. .知道我們做錯了什麼嗎?我很高興幫助這個或任何線索如何移動工作回400個分區

[匿名]

你好,@Alon nis -我的名字叫風笛手,我是主持人磚。謝謝你來我們這個問題。我們將給會員一個機會在我們回來之前應對這如果我們需要。

提前感謝你的耐心。

[jose_gonzalez · Accepted solution]

嗨@Alon nis,

如果你改變這個洗牌分區配置,conf檢查點保存,因此流本身將繼續使用舊的值有狀態的聚合。如果你想使用一個新值,那麼您將需要使用一個新的檢查點。

[alonisser]

這是一個奇怪的行為,當一個新的檢查點被計算(最後一批)為什麼不使用新的火花。conf洗牌。分區,這是新microbatch嗎?

隻是刪除檢查點,流的運行很長一段時間,一個完整的回填沒有意義,是一個貧窮的解決方案。

我發現我可以編輯檢查點和改變數量,和它的工作原理,但它是一個醜陋的方法破解

[jose_gonzalez]

嗨@Alon nis,

我理解你的意思。修改檢查點文件夾/文件可能產生其他問題,因此,建議使用一個新的檢查點。