取消
顯示的結果
而不是尋找
你的意思是:

Pyspark將錯誤而沒有dir我包源代碼壓縮包。

筆
新的貢獻者二世

如果我發送包由zipfile spark.submit。pyFiles zip的這段代碼。

進口zipfile, os def make_zip (source_dir output_filename): zipfile。ZipFile (output_filename ' w ') zipf: pre_len = len (os.path.dirname (source_dir))數= 0的家長,目錄名,文件名在os.walk (source_dir): #如果count = = 0: # # # # # #我忽略這個錯誤# # # # # zipf。寫(父,父[pre_len:] .strip (os.path.sep))的文件名文件名:pathfile = os.path。加入(父母,文件名)arcname = pathfile [pre_len:] .strip zipf (os.path.sep) #路徑。寫(pathfile arcname)其他:數= 0打印(zipf.infolist ())

它將返回找不到錯誤來源。

當我將路徑添加到zip包,它可以運行成功。

2回答2

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@pen poon,請你參考https://docs.m.eheci.com/external-data/zip-files.html讓我們知道如果這可以幫助嗎?

Hubert_Dudek1
尊敬的貢獻者三世

我檢查了,你的代碼就可以了。如果你設置source_dir output_filename請記住路徑與/ dbfs開始

如果你工作在community edition可以訪問底層文件係統的問題。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map