如何發送列表作為參數磚筆記本的任務

[SailajaB]

你好,

我們如何將列表作為參數傳遞數據磚筆記本運行筆記本平行的值列表。

謝謝你！

[Hubert_Dudek1]

筆記本上執行代碼驅動程序來實現並行您隻需要創建火花dataframe與你的列表。

作為@Werner Stinckens說你可以一起運行多個筆記本也在這種情況下,你不會使用列表隻是為了每一個筆記本通過1參數從你的列表:

多處理。池進口ThreadPool my_params =[“歐盟”,“摩根”,“亞太地區”)池= ThreadPool(4) #匹配cpu核心池。地圖(λmy_param: run_notebook (“my_notebook”, 3600年,{“my_widget”: my_param}), my_params)

[SailajaB]

我們實現了我們的代碼使用threadpool

池= ThreadPool (mp.cpu_count ())

pool.map (fn_name value_list)

我的問題是我們如何通過使用小部件列表類型的筆記本. .目前我們正在字符串輸入和分裂它. .

[Hubert_Dudek1]

您可以轉換列表dataframe和注冊表/視圖將可以從所有的筆記本

[werners1]

您可以使用多選部件,這是另一個話題。

在這個小部件如何傳入的值?可以通過幾種方式取決於所使用的計劃工具。

我使用數據工廠,我定義的值必須被發送到筆記本小部件。

[Hubert_Dudek1]

另一個另一種方式(磚可以實現一切的許多方麵)是使用json庫編碼列表:

進口json輸出類型(json。轉儲([1,2,3]))# > > <類型的str >