Pyspark將錯誤而沒有dir我包源代碼壓縮包。

[筆]

如果我發送包由zipfile spark.submit。pyFiles zip的這段代碼。

進口zipfile, os def make_zip (source_dir output_filename): zipfile。ZipFile (output_filename ' w ') zipf: pre_len = len (os.path.dirname (source_dir))數= 0的家長,目錄名,文件名在os.walk (source_dir): #如果count = = 0: # # # # # #我忽略這個錯誤# # # # # zipf。寫(父,父[pre_len:] .strip (os.path.sep))的文件名文件名:pathfile = os.path。加入(父母,文件名)arcname = pathfile [pre_len:] .strip zipf (os.path.sep) #路徑。寫(pathfile arcname)其他:數= 0打印(zipf.infolist ())

它將返回找不到錯誤來源。

當我將路徑添加到zip包,它可以運行成功。

[Debayan]

嗨@pen poon,請你參考https://docs.m.eheci.com/external-data/zip-files.html讓我們知道如果這可以幫助嗎?

[Hubert_Dudek1]

我檢查了,你的代碼就可以了。如果你設置source_dir output_filename請記住路徑與/ dbfs開始

如果你工作在community edition可以訪問底層文件係統的問題。