問題在運行流引發檢查點和偏移量
當流開始我需要大量的分區,所以我們把它與火花。參看5000
如預期補償在檢查站包含這個信息和工作使用這個值。
然後我們停止了工作,和分區的數量改為400,火花。再次相依
我預計下一批仍在使用前一個值(因為在抵消),但當新計算偏移量(當前批處理結束時)使用新的價值需要天天我看到5000年的價值還在新創建的補償。
雖然一些任務的工作現在使用新的400號碼,其他任務使用5000號!這基本上是殺死我們。
我很確定先前版本的火花(這工作是火花3.2磚10.2運行時)按預期工作,但這份工作不再. .知道我們做錯了什麼嗎?我很高興幫助這個或任何線索如何移動工作回400個分區
