自動化集群創建

[Vidisha]

我新磚,我的領導告訴我,我們手動創建集群運行筆記本。請寫一個python腳本自動化我這樣做。e自動創建集群。

誰能幫我寫腳本使用PySpark磚。我必須使用Azure雲服務。

[werners1]

我看到兩個簡單的方法:

1. 使用磚工作流。這將創建集群為你工作
2. 使用數據工廠和磚筆記本的活動:這確實是一樣的

基本上你告訴磚創建短暫的集群中活著的火花的執行計劃。當程序完成後,集群終止。

也有類似的集群池,使得實例保持溫暖。

[Kaniz]

嗨@Vidisha庫瑪麗,我們一直沒有收到你自從上次反應@Werner Stinckens,我檢查看看她的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

[Vidisha]

實際上我們已經有工作創建集群。現在我們需要自動化現有手動創建的集群中運行多個筆記本由多個用戶。請建議

[werners1]

所以你創建交互式集群運行哪一個您想要使用筆記本電腦計劃的方式嗎?

如果是這樣的話:你可以安排現有集群的筆記本(schedule按鈕)或數據工廠使用現有的集群運行一個筆記本。所以我的答案幾乎保持不變。

如果這不是你正在尋找的,請解釋你的用例。