磚火花Vs火花紗

[User16869510359]

我移動我的火花從EMR集群/內部引發數據磚工作負載。我理解磚引發不同的紗線。磚結構不同於紗嗎?

[User16869510359 · Accepted solution]

用戶經常比較磚集群vs紗集群。這不是一個蘋果蘋果比較。

磚集群應該比火花應用程序提交紗。火花應用紗會有司機容器和執行人容器集群節點上啟動。主的應用程序將運行在司機容器(Yarn-Cluster模式)。

磚集群也有一個司機容器和執行人容器集群節點上啟動。不同的紗線,我們推出每個虛擬機隻有一個執行者。應用程序主紗可以在磚與司機服務。

有幾個好處相比紗在磚比較:

• 支持多種語言/會話在同一個集群。
• 優化和改進的伸縮功能。磚的伸縮算法是非常效率比紗線的動態分配特性
• 更快更可靠的火花的獨立的調度器。