嗨@John威廉
磚集群使用火花的獨立的集群管理器。每個集群磚都有自己的獨立的主人和工作進程運行在LXC容器和共享集群的生命周期。每個集群都有一個單獨的驅動程序的過程,它充當唯一火花申請獨立集群。
這是官方的火花獨立集群模式文檔:https://spark.apache.org/docs/latest/spark-standalone.html
嗨@Akash Bhat,謝謝你的回複。我真的很奇怪,磚集群使用火花的獨立集群管理器,因為如果我讀正確,磚使用Kubernnetes作為集群管理器//m.eheci.com/blog/2021/08/06/how-we-built-databricks-on-google-kubernetes-engine-gke.h..。
嗨@John威廉
集群管理器啟動職工實例並開始職工服務
集群管理器API調用問題一個雲提供商(AWS或Azure)為了獲得這些實例的集群。
而磚豐富維護一個穀歌Kubernetes引擎(GKE)節點池配置司機節點和執行器節點