你好所有的,
我有大量的光筆記本運行我的並發方法啟動筆記本與dbutils.notebook.run並行運行。
我增加並行越多,我看到每個筆記本的持續時間增加。
我觀察到細胞,包括進口的持續時間增加而並行20 - 30秒:
進口org.apache.spark.sql.functions。{坳,點燃,to_date, date_format} org.apache.spark.sql.types進口。{DateType, TimestampType, IntegerType} org.apache.spark.sql進口。}{DataFrame,行導入org.apache.spark.sql.catalyst.analysis.NoSuchTableException
值得一提的是同樣的問題與細胞包含導入聲明
進口spark.implicits._
通知你我使用並行馬克斯一半的可用的驅動核心(如16並行F32s司機)
有策略,可以解決這個問題嗎?
謝謝你提前,
你好@Hubert杜德克,
謝謝你的回應和幫助!是的,我試圖使用調度器。池,但正如你所說的池火花資源。在我的例子中瓶頸實際上是司機調度筆記本,不是火花調度。作為證明,我觀察到相同的行為與筆記本沒有interacti火花