當我調用抽樣api pytest期間,似乎模塊”序列化器。py pyspark下“無法找到任何其他模塊。
我已經在互聯網上抬頭,似乎pyspark模塊不正確導入其他模塊。
我看到那些正在經曆一個類似的問題。
我試著做一個整體火花打包成一個zip文件並加載時創建一個會話使用火花addPyFile()方法,但不幸的是沒有用的。
任何人都可以幫我嗎?
@hyunho李:聽起來你遇到一個問題與PySpark序列化器無法找到與Pytest必要的模塊在測試期間。你可以試試,一個解決方案是設置PYTHONPATH環境
環境變量包括PySpark安裝運行Pytest前之路。這可以通過添加以下行到您的測試腳本在運行Pytest之前:
進口os操作係統。環境[' PYTHONPATH '] = ' /路徑/ / pyspark '
替換/道路/ / pyspark實際pyspark安裝目錄路徑。
你可以嚐試另一個解決方案就是使用PYSPARK_PYTHON環境變量來指定要使用的Python可執行PySpark。你可以設置這個變量使用的Python可執行安裝PySpark。例如:
進口os操作係統。環境[' PYSPARK_PYTHON '] = /道路/ / python的
替換/道路/ / python與實際python可執行路徑。
我希望這可以幫助!讓我知道如果你有任何進一步的問題。