改變集群mid-pipeline

[尼爾斯]

我有一個筆記本功能作為一個管道,多個筆記本鏈接在一起。

我麵臨的問題是,一些筆記本spark-optimized,其他人沒有,和我想要的是使用1集群前,另一個用於後者。然而,這將意味著改變集群中途管道筆記本。這有可能嗎?如果是這樣,如何?

[Hubert_Dudek1]

在這種情況下,使用Azure數據工廠策劃這些工作是強烈推薦。

[Prabakar · Accepted solution]

是的,你可以實現這個集群通過設置兩個不同的工作。截圖中,你可以看到我用2集群PipelineTest和pipelinetest2工作。你可以參考文檔https://docs.m.eheci.com/jobs.html cluster-config-tips

[Kaniz]

嗨@Niels Ota,隻是一個友好的後續。你還需要幫助,還是@Hubert杜德克(客戶)和@Prabakar Ammeappin的反應幫助你找到解決方案了嗎?請讓我們知道。

[Kaniz]

嗨@Niels在線旅行社,我們一直沒有收到你最後的回應@Prabakar Ammeappin,我檢查是否你有一個決議。如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。