取消
顯示的結果
而不是尋找
你的意思是:

別人正在經曆間歇REPL開始“失敗”錯誤PySpark工作嗎?

JordanYaker
貢獻者

我有一個多任務工作運行一堆PySpark筆記本和大約30 - 60%的時間,我的工作失敗有以下錯誤:

image.png我還沒有看到任何一致性錯誤。我所有的工作的任務給這個錯誤,隻有一個任務扔它,介於兩者之間的。

什麼混淆了我一大跳,這不是一個交互式集群所以我不確定是什麼原因。任何幫助將不勝感激。

1接受解決方案

接受的解決方案

我是假設與運行時。請容忍我們努力改善。我很高興這個方法是有效的。

在原帖子查看解決方案

7回複7

User16741082858
貢獻者三世

嗨@Jordan犛牛你使用DCS(磚容器服務)?and也,運行時你用什麼?

JordanYaker
貢獻者

@Pearl Ubaru我不使用DCS,我使用的是11.3。我的賬戶代表內部一些人交談並建議回滾至10.4。我這樣做,問題似乎已經消失。不幸的是,這讓我沒有能力利用“availableNow”,但我寧願有一個穩定的係統,觸發。

我是假設與運行時。請容忍我們努力改善。我很高興這個方法是有效的。

James_Cole
新的貢獻者三世

嗨。你有沒有得到一個回滾到10.4以外的解決這個問題嗎?我最近換了一些工作負載運行時11.3,我經曆間歇”repl才開始在30秒。”錯誤。

我已經增加了repl超時按微軟建議150秒,但這並沒有固定的問題。他們還建議增加集群的規模,但這並不覺得正確的解決方案。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map