Py4J”找不到Py4J jar”錯誤當試圖使用pypmml,解決方案是行不通的

[mattsteinpreis]

我想用pypmml DB的筆記本,但我得到的已知的錯誤:Py4JError:找不到py4j jar的錯誤。我跟著這裏的解決方案:https://kb.m.eheci.com/libraries/pypmml-fail-find-py4j-jar.html。然而,這並沒有為我工作。

細節:

• 當我運行' % pip安裝py4j = = 0.10.9 '其次是% sh找到/磚/ - name“py4j *罐”,沒有找到結果。然而,如果我安裝集群通過計算界麵,然後做在預期路徑找到jar。
• 我將jar通過:

dbutils.fs.cp(' /磚/ python3 /分享/ py4j / py4j0.10.9。jar”、“py4j /”)

• 我創建了init腳本,如下所示:

dbutils.fs.put(“/ <我> / install-py4j-jar。sh”、“”“# !/bin/bash mkdir - p /分享/ py4j / /當前版本/ cp / dbfs / py4j / py4j0.10.9。jar /分享/ py4j / cp / dbfs / py4j / py4j0.10.9。jar /當前發行版”“”,真的)

• 我附上init腳本,並重新啟動。
• 我安裝pypmml和運行類似:

從pypmml導入模型模型= Model.load (' / dbfs / <我> / <我的模型> .pmml ')

• 我試著安裝pypmml使用% pip以及集群中的UI。

無論如何,我總是得到同樣的錯誤:Py4JError:找不到py4j jar

我用DRV 10.4 LTS毫升,盡管我已經試過其他版本都無濟於事。

什麼好主意嗎?

[Hubert_Dudek1]

為了避免衝突與預裝版本,py4j需要安裝通過% pip安裝py4j = = 0.10.9。

你可以試試這個方法檢查安裝的地方:

% sh pip安裝py4j = = 0.10.9 pip py4j

[mattsteinpreis]

這並沒有解決這個問題。

當我這樣做時,pypmml“看見”這個版本,當我後來安裝pypmml,跳過py4j要求安裝和引用的py4j位置顯示命令。然而,我仍然得到同樣的錯誤。

我不知道如何讓pypmml知道在哪裏找到合適的py4j jar。

同樣,甚至當我以這種方式安裝py4j,磚環境似乎仍然指向不同的py4j安裝。如果我運行:

導入py4j打印(py4j.__version__)打印(py4j.__file__)

我得到一個不同的版本和路徑指定/安裝返回的命令。

[jose_gonzalez]

嗨@Matthew Steinpreis,

隻是一個友好的後續。你還在尋求幫助嗎?請讓我們知道

[pawelmitrus]

我一直苦苦掙紮的個人,但安裝pypmml火花之後,我可以使用其他庫,也許會為你工作:

• 運行時10.4 LTS毫升
• 安裝pypmml-spark (https://github.com/autodeployai/pypmml-spark)
• 安裝pmml4s-spark (org.pmml4s: pmml4s-spark_2.12:0.9.16 pyspark最終使用它,https://github.com/autodeployai/pmml4s-spark)

兩個pyspark & scala的作品