別人正在經曆間歇REPL開始“失敗”錯誤PySpark工作嗎?

[JordanYaker]

我有一個多任務工作運行一堆PySpark筆記本和大約30 - 60%的時間,我的工作失敗有以下錯誤:

我還沒有看到任何一致性錯誤。我所有的工作的任務給這個錯誤,隻有一個任務扔它,介於兩者之間的。

什麼混淆了我一大跳,這不是一個交互式集群所以我不確定是什麼原因。任何幫助將不勝感激。

[User16741082858]

嗨@Jordan犛牛你使用DCS(磚容器服務)?and也,運行時你用什麼?

[JordanYaker]

@Pearl Ubaru我不使用DCS,我使用的是11.3。我的賬戶代表內部一些人交談並建議回滾至10.4。我這樣做,問題似乎已經消失。不幸的是,這讓我沒有能力利用“availableNow”,但我寧願有一個穩定的係統,觸發。

[User16741082858 · Accepted solution]

我是假設與運行時。請容忍我們努力改善。我很高興這個方法是有效的。

[James_Cole]

嗨。你有沒有得到一個回滾到10.4以外的解決這個問題嗎?我最近換了一些工作負載運行時11.3,我經曆間歇”repl才開始在30秒。”錯誤。

我已經增加了repl超時按微軟建議150秒,但這並沒有固定的問題。他們還建議增加集群的規模,但這並不覺得正確的解決方案。