如何確定或決定將多少就業崗位如果我提交代碼

[Sagar1]

我不能夠找到一個源,它解釋了如何確定多少工作一塊寫的pyspark代碼將觸發。你能幫助我。對階段我知道打亂的數量等於階段的數量。

[Debayan]

嗨@sagar Varma,你的工作可以由單個任務或可能是一個大型、多任務工作流與複雜的依賴關係。

你可以列出工作。請參考:https://docs.m.eheci.com/workflows/jobs/jobs.html view-jobs

[werners1]

嗨@sagar Varma,我相信你正在談論火花工作(而不是磚工作流的工作)。

基本上每個物理運算符創建一個火花工作。這可以是一個動作也像BroadcastHashJoinExec他人。

拉斯科夫斯基Jacek所以很好解釋:

https://stackoverflow.com/questions/49385724/how-to-know-the-number-of-spark-jobs-and-stages-in-broa..。

[Vidula_Khanna]

嗨@sagar Varma

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳嗎?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!