BarrierTaskContext。
障礙
集全球屏障和等待,直到所有任務在這個階段達到這一障礙。類似於MPI_Barrier在MPI函數,這個函數塊直到所有任務在同一階段達到了這個例程。
警告
在一個障礙階段,每個任務具有相同數量的多少障礙()在所有可能的調用,代碼分支。否則,你可能會得到這份工作後懸掛或SparkException超時。
筆記
這個API是實驗
以前的
pyspark.BarrierTaskContext.attemptNumber
下一個
pyspark.BarrierTaskContext.get