磚的工作調度——連續模式

[smurug]

調度磚使用連續模式工作時,會發生什麼,如果工作是配置為集群運行工作。

在每個集群將終止運行,重新再下一次運行嗎?官方文檔還不清楚,但它隻提到,會有一個輕微的延遲不超過60秒。

但快速實用檢查這個場景中,點的方向,集群正在重現,因為一個簡單的筆記本做什麼花2分鍾完成,從日誌看起來不同的集群。但不是決定性的。

欣賞任何想法相同的——因為邏輯上連續的選擇應該重用集群(為了節省啟動時間),否則這個選項的值將是有限的。

[Tharun-Kumar]

@smurug

集群工作設計是獨一無二的每次運行工作。所以,每次運行的作業將運行集群對一份新工作。

如果你想讓你的工作持續運行沒有任何延遲和重用集群,我建議使用專用集群互動。在這種情況下,集群將被保留在工作運行,你的工作將立即之前運行完成後執行。

[smurug]

謝謝你的回應——是的,我們這樣做是目前(使用交互式集群),但是以下是指針,正在考慮重新評估這種方法,到達一個可能的選擇(如果可能的話)

1)成本集群互動和工作的區別

2)在生產環境中,時不時被收到以下錯誤

運行失敗與錯誤消息上下文ExecutionContextId(1496834584910869936)斷開連接。而這個錯誤可以獲得多個原因,集群資源約束根據理解的主要原因之一。因此,思維過程是個體工作集群不同的工作,可以獨立了,因此這將導致使就業而不是專用的可用資源共享資源從集群互動在所有工作。然而它可能不是可行的創建許多互動集群考慮成本,因此使用集群工作可以抵消一些成本,有助於降低整體成本。

此外,在網上搜索,發現了這篇文章https://medium.com/@24chynoweth continuous-jobs-and-file-triggers-in-databricks-e7ba51a0c93a提到資源重用。

同時,官方文檔,https://docs.m.eheci.com/workflows/jobs/schedule-jobs.html——顯然也沒提到任何關於重用/終止,但提到,會有一個輕微的延遲將不超過60秒。因此如果集群需要會重現,我不認為這能保證隻有60秒延遲。

[youssefmrini]

當磚的工作是配置為運行與集群在連續工作模式,工作運行之間的集群將被保留為後續運行和重用。

不會終止並重新創建集群之間運行,這將失敗在連續工作模式運行的目的,旨在減少工作啟動時間和增加集群使用的效率。

相反,磚將集群保持活力和試圖分配運行相同的集群,以避免後續工作的成本和延遲每次推出一個新的集群。可能會有輕微的變化在後續運行啟動時間由於節點可用性等因素,但延遲在大多數情況下應小於60秒。

在特定情況下,如果你觀察一個簡單的遊手好閑的筆記本花費2分鍾左右完成,目前尚不清楚每次使用相同的集群,這是可能的,可能還有其他因素影響集群性能(例如,集群配置、節點可用性等)或資源使用(例如,其他運行作業)導致的延遲。

我建議檢查磚的工作日誌和集群利用率指標更好地理解工作性能和資源使用的隨著時間的推移,如果你繼續體驗問題,考慮接觸磚支持進一步的幫助。