任務搶占

Apache火花在磚自動挑出毛病的任務調度程序執行公平分享。這保證互動響應時間在集群上許多並發運行的工作。

提示

當調度器任務搶占的,他們殺原因將被設置搶占通過調度器。這個原因是可見的UI和火花可以用來調試搶占行為。

搶占選項

默認情況下,搶占保守:作業可以缺乏資源的調度程序幹預前30秒。您可以調整搶占通過設置以下火花在集群啟動時配置屬性:

  • 搶占是否應該啟用。

    spark.databricks.preemption。使真正的

  • 應得的分數,以保證每個工作。設置這個1.0意味著調度器將積極嚐試保證完美的公平分享。設置這個0.0有效禁用搶占。默認設置為0.5,這意味著最糟糕的就業將會得到一半的公平的份額。

    spark.databricks.preemption。0.5閾值

  • 工作多長時間必須保持饑餓之前搶占。設置這個降低值將提供更多的互動響應時間,在集群的成本效率。推薦值從1 - 100秒。

    spark.databricks.preemption。超時30年代

  • 多長時間調度程序將檢查任務搶占。這應該被設置為小於搶占超時。

    spark.databricks.preemption.interval 5 s

有關作業調度的進一步信息,請參閱安排在一個應用程序。