取消
顯示的結果
而不是尋找
你的意思是:

Pyspark抽樣與pytest失敗

丹妮
新的貢獻者二世

當我調用抽樣api pytest期間,似乎模塊”序列化器。py pyspark下“無法找到任何其他模塊。

我已經在互聯網上抬頭,似乎pyspark模塊不正確導入其他模塊。

我看到那些正在經曆一個類似的問題。

https://stackoverflow.com/questions/53863576/modulenotfounderror-because-pyspark-serializer-is-not-a..。

我試著做一個整體火花打包成一個zip文件並加載時創建一個會話使用火花addPyFile()方法,但不幸的是沒有用的。

任何人都可以幫我嗎?

1回複1

匿名
不適用

@hyunho李:聽起來你遇到一個問題與PySpark序列化器無法找到與Pytest必要的模塊在測試期間。你可以試試,一個解決方案是設置PYTHONPATH環境

環境變量包括PySpark安裝運行Pytest前之路。這可以通過添加以下行到您的測試腳本在運行Pytest之前:

進口os操作係統。環境[' PYTHONPATH '] = ' /路徑/ / pyspark '

替換/道路/ / pyspark實際pyspark安裝目錄路徑。

你可以嚐試另一個解決方案就是使用PYSPARK_PYTHON環境變量來指定要使用的Python可執行PySpark。你可以設置這個變量使用的Python可執行安裝PySpark。例如:

進口os操作係統。環境[' PYSPARK_PYTHON '] = /道路/ / python的

替換/道路/ / python與實際python可執行路徑。

我希望這可以幫助!讓我知道如果你有任何進一步的問題。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map