在任何火花應用,引發司機也扮演著關鍵的角色,執行以下功能:
1。初始化一個火花會話
2。與集群管理器請求資源(CPU、內存等)引發的集群管理器的執行人(jvm)
3所示。將所有的火花操作轉換為DAG計算
4所示。DAG調度和分配計算任務在火花執行人
5。與火花執行人
避免超載引發司機/驅動程序失敗是絕對必要的保持高SLA火花應用程序。
建議分發工作負載成不同的小集群而不是許多應用程序運行在一個大集群中,無論多麼大的集群,火花的功能驅動程序不能被分配在一個集群中。
# dataengineering# apachespark
