09-23-202203:16點
我有一個多任務工作運行一堆PySpark筆記本和大約30 - 60%的時間,我的工作失敗有以下錯誤:
我還沒有看到任何一致性錯誤。我所有的工作的任務給這個錯誤,隻有一個任務扔它,介於兩者之間的。
什麼混淆了我一大跳,這不是一個交互式集群所以我不確定是什麼原因。任何幫助將不勝感激。
09-28-202234點
我是假設與運行時。請容忍我們努力改善。我很高興這個方法是有效的。
在原帖子查看解決方案
09-28-2022上午09:07
嗨@Jordan犛牛你使用DCS(磚容器服務)?and也,運行時你用什麼?
09-28-2022上午11:07
@Pearl Ubaru我不使用DCS,我使用的是11.3。我的賬戶代表內部一些人交談並建議回滾至10.4。我這樣做,問題似乎已經消失。不幸的是,這讓我沒有能力利用“availableNow”,但我寧願有一個穩定的係統,觸發。
11-21-202204:05我
嗨。你有沒有得到一個回滾到10.4以外的解決這個問題嗎?我最近換了一些工作負載運行時11.3,我經曆間歇”repl才開始在30秒。”錯誤。
我已經增加了repl超時按微軟建議150秒,但這並沒有固定的問題。他們還建議增加集群的規模,但這並不覺得正確的解決方案。
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。