進口放緩並發筆記本

[pantelis_mare]

你好所有的,

我有大量的光筆記本運行我的並發方法啟動筆記本與dbutils.notebook.run並行運行。

我增加並行越多,我看到每個筆記本的持續時間增加。

我觀察到細胞,包括進口的持續時間增加而並行20 - 30秒:

進口org.apache.spark.sql.functions。{坳,點燃,to_date, date_format} org.apache.spark.sql.types進口。{DateType, TimestampType, IntegerType} org.apache.spark.sql進口。}{DataFrame,行導入org.apache.spark.sql.catalyst.analysis.NoSuchTableException

值得一提的是同樣的問題與細胞包含導入聲明

進口spark.implicits._

通知你我使用並行馬克斯一半的可用的驅動核心(如16並行F32s司機)

有策略,可以解決這個問題嗎?

謝謝你提前,

[pantelis_mare]

你好@Kaniz Fatma是的很明顯。

一些測試後站在我這一邊使用* * * * *的筆記本,它所做的是進口的東西和睡覺15秒(因此與火花)我想,即使是一個32內核驅動程序,疲勞點接近6並發筆記本。這意味著它甚至不是一個可用內核的問題/筆記本因為接近16的疲勞點或8內核驅動程序。