取消
顯示的結果
而不是尋找
你的意思是:

SparkR會話初始化失敗

User16752239289
貢獻者三世
貢獻者三世

當運行sparkR.session ()

我麵臨以下錯誤:

火花包中發現SPARK_HOME: /磚/火花發射用spark-submit命令java /磚/火花/ bin / spark-submit sparkr-shell / tmp / Rtmp5hnW8G backend_porte9141208532d錯誤:無法找到或加載主類org.apache.spark.launcher。主要/磚/ / bin / spark-class火花:101行:CMD:糟糕的數組下標sparkR誤差。sparkContext(主瀏覽器名稱,sparkHome、sparkConfigMap: JVM沒有準備好後10秒

當我檢查集群log4j,我發現我打Rbackend限製:

21/06/29 18:26:17信息RDriverLocal: 394。RDriverLocal。e9dee079 - 46 - f8 - 4108 - b1 - 25 - fa02742efb:超過最大RBackends數量限製:200

1接受解決方案

接受的解決方案

User16752239289
貢獻者三世
貢獻者三世

這是由於當用戶運行R腳本Rstudio, R會話不優雅地關閉。

磚正在處理R會話更好和移除的極限。

作為一個解決方案,您可以創建和運行init腳本增加以下限製:

% scala val initScriptContent = s”“| # !/bin/bash |貓> /磚/共同/ conf / rbackend_limit。參看< < EOL | {| databricks.daemon.driver。maxNumRBackendsPerDriver = <價值> |}|停產”“狀態”。stripMargin dbutils.fs.put (“dbfs: / <路徑> / set_rbackend。sh”initScriptContent,真的)

在原帖子查看解決方案

1回複1

User16752239289
貢獻者三世
貢獻者三世

這是由於當用戶運行R腳本Rstudio, R會話不優雅地關閉。

磚正在處理R會話更好和移除的極限。

作為一個解決方案,您可以創建和運行init腳本增加以下限製:

% scala val initScriptContent = s”“| # !/bin/bash |貓> /磚/共同/ conf / rbackend_limit。參看< < EOL | {| databricks.daemon.driver。maxNumRBackendsPerDriver = <價值> |}|停產”“狀態”。stripMargin dbutils.fs.put (“dbfs: / <路徑> / set_rbackend。sh”initScriptContent,真的)

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map