司機工作節點計算有哈?

[MarsSu]

我想確認和討論HA對司機計算節點的工作機製。因為我們可以形象司機集群節點和主節點一樣。在AWS EMR,我們可以設置2主節點,這樣一個主節點失敗,另一個主節點可以迅速取代。

但我有了官方文件,似乎隻有一個司機在磚計算節點。這意味著是否磚司機節點沒有HA的機製?

如果你有任何想法,請分享或討論。我將很感激。

[werners1]

afaik是正確的,如果司機死了你的工作將會失敗。

還要檢查這個話題。

有辦法運行火花哈,但我不認為這是可能的在此刻磚:

https://gist.github.com/aseigneurin/3af6b228490a8deab519c6aea2c209bc

如果你絕對需要HA的主/司機,我接觸到磚的支持。

就其價值而言:我不遇到任何問題與大師/司機死亡,除非我寫壞的代碼(錘打司機的數據)。火花司機本身通常很放鬆。工人們/執行人塞滿了工作。

[karthik_p · Accepted solution]

@Mars蘇作為@Werner Stinckens提到的可能性更小司機死亡。一件事如果你不添加多負載un-necessary筆記本,如果任何未使用的筆記本電腦有你的工作更好的分離他們的一部分。

[Vidula_Khanna]

嗨@Mars蘇

我們一直沒有收到你自從上次反應@Werner Stinckens @karthik p,我檢查看看她的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。