影響並行運行多個作業,是指相同的筆記本

[Murthy1]

我可以運行多個工作(例如:100 +)並行是指相同的筆記本嗎?我為每個工作提供一個不同的參數。如果我們能做到這一點,帶來的影響是什麼?(例如:可靠性、性能、故障排除等)

例子:

筆記本:

table_name = dbutils.widgets.get (table_name) df = (spark.read.format(“鋪”).load (f年代:/ / data_source_bucket_name / {table_name} / ')) <處理數據> df.write.saveAsTable (table_name模式=“覆蓋”)

工作1參數:

table_name = ' Table_1 '

工作兩個參數:

table_name = ' Table_2 '

。

。

。

。

100年工作參數:

table_name = ' Table_100 '

解釋:從表中讀取鋪文件文件夾和後加載到三角洲表處理。所有的表的處理步驟是相同的。

[Lakshay · Accepted solution]

嗨@Murthy Ramalingam,您可以創建多個作業引用相同的筆記本代碼沒有任何問題。我們通常看到問題在編寫相同的位置或表。然而,在你的情況下,你將通過不同的表,這些工作,所以我希望它運行良好。

用於故障診斷目的,它總是明智的使用集群工作不同的工作,以便為每個工作日誌可單獨運行。

[匿名]

當您運行一個工作和一個筆記本,它不進去,點擊“運行”筆記本但是使它運行的副本。

[Vidula_Khanna]

嗨@Murthy Ramalingam

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!