我使用運行時9.1 lts
我有一個筆記本,上麵寫著一個csv為R dataframe和做一些轉換,最後轉化為火花dataframe使用createDataFrame函數。
之後,當我調用顯示函數dataframe火花,我得到以下錯誤
org.apache.spark。SparkException:工作階段失敗而終止:任務0階段0.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 0.0 (TID 3)(10.139.64.4執行人0):java.net.SocketTimeoutException:接受超時
在火花UI, stderr,我可以看到這個消息
BufferedStream線程:錯誤文件(文件名,“r”,編碼=編碼)
但是當我uat環境中運行相同的代碼具有相同的運行時(9.1 lts)這是不會發生。
此外,直到昨天我們使用8.2運行時錯誤並沒有發生。
感謝任何幫助
