從內部錯誤當調用SparkR Python筆記本

[rshark]

我已經成功的R魔法(R細胞Python筆記本)和運行R從Python腳本筆記本,到集群連接R的火花。在這兩種情況下,我不能得到一個“SparkSession”來初始化。

有(Python)筆記本的例子:

load_ext rpy2.ipython

% % R庫(SparkR) sparkR.session ()

錯誤消息從細胞2:

R(寫入控製台):火花包中發現SPARK_HOME: /磚/火花發射用spark-submit命令java /磚/火花/ bin / spark-submit sparkr-shell / tmp / RtmpPjujEO / backend_port19cf5178fd7d R(寫入控製台):在sparkR錯誤。sparkContext(主瀏覽器名稱,sparkHome、sparkConfigMap: JVM沒有準備好10秒後R[寫入控製台]:除了:R(寫入控製台):有50或更多的警告(使用警告()來查看第一個50)R[寫入控製台]:sparkR誤差。sparkContext(主瀏覽器名稱,sparkHome、sparkConfigMap: JVM沒有準備好後10秒RInterpreterError:未能解析和評價線”sparkR.session ()”。

我合作使用的情況下,它將更有效,落入一個Python筆記本和在本地執行分析R,但有可能利用SparkR磚在Python筆記本嗎?

[杜利]

是的,你可以使用SparkR磚的筆記本這樣你就可以保持你的本機代碼。頂部的一部分,您可以選擇筆記本的磚GUI的語言將在R所以你不需要添加% % R的每一個細胞。

你也可以導入ipython筆記本使用磚,將它轉換為一個磚筆記本。然後將語言設置為R頂部和你良好的運行。

合作,可以人磚限製進入工作磚GUI的筆記本和你嗎?我們的筆記本讓多人同時編輯&你可以共享筆記本。你也可以留言互相幫助提高你的合作。

[rshark]

我感興趣的是顯式地運行一個筆記本在Python中,但從內部運行R代碼。我沒有問題時火花集群連接R語言設置為R有辦法連接R為Python火花筆記本用例或這是一個極端例子,磚不支持?

[杜利]

答案我可以給你給你做這項工作的是調用Python的R筆記本筆記本。每個dataframe保存為三角洲表之間通過語言。

如何調用一個筆記本從另一個筆記本嗎?這裏是一個鏈接