Apache火花不開始工作

學習如何進行故障排除磚火花不會開始的工作。

寫的亞當Pavlacka

去年發表在:2022年3月4日

問題

無火花工作開始,司機日誌包含以下錯誤:

最初的工作沒有接受任何資源;檢查您的集群UI,以確保工人注冊和有足夠的資源

導致

這個錯誤可以發生在執行程序內存和數量的遺囑執行人核心設置明確的火花配置選項卡。

這是一個示例配置:

AWS

引發用戶界麵的截圖

在這個例子中,設置為遺囑執行人i3.xLarge節點,火花配置設置為:

spark.executor。5 spark.executor核心。記憶6克

i3.xLarge集群類型隻有4核但用戶顯式地設置5芯/執行人。火花不開始任何任務,進入下麵的錯誤消息到司機日誌:

警告TaskSchedulerImpl:初始工作沒有接受任何資源;檢查集群的UI,以確保工人注冊並有足夠資源警告TaskSchedulerImpl:初始工作沒有接受任何資源;檢查集群的UI,以確保工人注冊並有足夠資源警告TaskSchedulerImpl:初始工作沒有接受任何資源;檢查您的集群UI,以確保工人注冊和有足夠的資源
刪除

GCP

引發用戶界麵的截圖

在這個例子中,設置為遺囑執行人n1-standard-4節點,火花配置設置為:

spark.executor。5 spark.executor核心。記憶6克

n1-standard-4集群類型隻有4核但用戶顯式地設置5芯/執行人。火花不開始任何任務,進入下麵的錯誤消息到司機日誌:

警告TaskSchedulerImpl:初始工作沒有接受任何資源;檢查集群的UI,以確保工人注冊並有足夠資源警告TaskSchedulerImpl:初始工作沒有接受任何資源;檢查集群的UI,以確保工人注冊並有足夠資源警告TaskSchedulerImpl:初始工作沒有接受任何資源;檢查您的集群UI,以確保工人注冊和有足夠的資源
刪除

解決方案

你永遠不應該指定核大於可用的內核數量的節點選擇一個集群。