磚集群的發射時間

[Farzana]

嗨,團隊,

我們有一個@adf管道將運行一些組活動# Azure磚筆記本之前被調用。當筆記本被稱為我們的管道將推出一個新的集群的每一份工作的工作計算標準與單個工人F4節點。啟動集群本身正在~ 7分鍾這增加了整體ADF管道運行時。

你能建議一個解決方案來減少集群啟動時間?

注意:我們的ADF管道有一個基於事件觸發將運行,有一個文件ADLS。我們不能有一個集群創建和運行所有的時間,因為它影響成本。

謝謝

[Kaniz]

嗨@Farzana,如果集群池有足夠的空閑實例和人工製品存儲的圖像下載較慢不是問題,然後可以做一些事情來減少集群啟動時間。

• 預加載的運行時實例池來改善這個問題。
• 研究節點守護進程的日誌來識別任何問題耽誤了。
• 檢查任何自定義配置和火花庫可能導致這個問題。

[Farzana]

@Kaniz謝謝你的回應。請你你什麼意思說明通過預加載運行時實例池?

甚至集群池需要連續運行(沒有特定的時間段為文件來定義ADLS)為了減少集群的發射時間為每一個工作,這樣對所有ADF管道運行時可以快速。不是嗎?

請幫我在理解“預加載運行時實例池”

謝謝

[Kaniz]

嗨@Farzana,預加載的運行時實例池是一種功能,允許選擇一個特定版本的運行時加載在空閑實例池。這可以加快pool-backed集群啟動和減少集群啟動和自動伸縮。通過選擇一個預加載的火花版本,一個集群可以啟動比pool-backed集群更迅速,不使用一個預加載的版本。這個特性可以提高集群開始時間,客戶正在經曆緩慢。上可用的特性是磚作為艦隊的實例。

來源:
- - - - - -https://docs.m.eheci.com/release-notes/product/2019/july.html
- - - - - -https://docs.m.eheci.com/clusters/pools.html
- - - - - -https://docs.m.eheci.com/compute/aws-fleet-instances.html