取消
顯示的結果
而不是尋找
你的意思是:

別人正在經曆間歇REPL開始“失敗”錯誤PySpark工作嗎?

JordanYaker
貢獻者

我有一個多任務工作運行一堆PySpark筆記本和大約30 - 60%的時間,我的工作失敗有以下錯誤:

image.png我還沒有看到任何一致性錯誤。我所有的工作的任務給這個錯誤,隻有一個任務扔它,介於兩者之間的。

什麼混淆了我一大跳,這不是一個交互式集群所以我不確定是什麼原因。任何幫助將不勝感激。

7回複7

我沒有。11.3似乎仍有穩定的問題,盡管它是下一個LTS。我仍然會REPL錯誤以及“Python內核沒有響應。”It's really annoying.

James_Cole
新的貢獻者三世

嗨,約旦。謝謝你的回應!煩人的,沒有一個官方的回答。我與微軟開放的票也在調查這件事對我來說,我將更新在這裏如果我得到任何具體的!

James_Cole
新的貢獻者三世

從磚以下更新的支持。

“我們可以看到以下錯誤就在repl失敗——開始

22/11/17 05:32:07錯誤WSFSDriverManager $:未能獲得相關wsf的pid

司機日誌中我們可以看到幾個repl被初始化。經曆與其他客戶類似的場景在我們的積壓我們看到減少並發有助於緩解該問題。beplay体育app下载地址增加司機大小也會幫助,因為它將提供更多並發執行的核心。”

仍然不相信這個問題的根源是一切都穩定的現在我們有集群滾回10.4……

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map