別人正在經曆間歇REPL開始“失敗”錯誤PySpark工作嗎?

[JordanYaker]

我有一個多任務工作運行一堆PySpark筆記本和大約30 - 60%的時間,我的工作失敗有以下錯誤:

我還沒有看到任何一致性錯誤。我所有的工作的任務給這個錯誤,隻有一個任務扔它,介於兩者之間的。

什麼混淆了我一大跳,這不是一個交互式集群所以我不確定是什麼原因。任何幫助將不勝感激。

[JordanYaker]

我沒有。11.3似乎仍有穩定的問題,盡管它是下一個LTS。我仍然會REPL錯誤以及“Python內核沒有響應。”It's really annoying.

[James_Cole]

嗨,約旦。謝謝你的回應!煩人的,沒有一個官方的回答。我與微軟開放的票也在調查這件事對我來說,我將更新在這裏如果我得到任何具體的!

[James_Cole]

從磚以下更新的支持。

“我們可以看到以下錯誤就在repl失敗——開始

22/11/17 05:32:07錯誤WSFSDriverManager $:未能獲得相關wsf的pid

司機日誌中我們可以看到幾個repl被初始化。經曆與其他客戶類似的場景在我們的積壓我們看到減少並發有助於緩解該問題。beplay体育app下载地址增加司機大小也會幫助,因為它將提供更多並發執行的核心。”

仍然不相信這個問題的根源是一切都穩定的現在我們有集群滾回10.4……