我必須讀沒有解壓縮使用火花csv文件。誰能請提供pyspark /火花sql代碼嗎?

[Jitu]

接收到s3原始層壓縮csv文件。

[Bartek]

一個解決方案——你可以使用舊好的熊貓“read_csv”方法讀取. zip (https://pandas.pydata.org/docs/reference/api/pandas.read_csv.html # pandas.read_csv)

熊貓作為pd simple_csv_zipped = pd.read_csv導入(“/ dbfs / FileStore / simple_file.zip”)

仍然有一個免責聲明:“如果使用“郵政”或“焦油”,zip文件必須隻包含一個數據文件讀入。”

也有明顯的權衡:使用熊貓意味著沒有分布,沒有可伸縮性和暴露在伯父的錯誤——但也許在您的特定情況下,是可以接受的

[Chaitanya_Raju]

@Jog Giri我最近也遇到類似的情況,以下代碼解決了我的目的,沒有任何問題。

進口zipfile我dbutils.fs.ls (“/ mnt / zipfilespath /”):與zipfile.ZipFile (i.path.replace (“dbfs: ', ' / dbfs '),模式= r) zip_ref: zip_ref.extractall (destination_path)

我安裝一個ADLS Gen 2容器由幾個. csv zip文件,請讓我知道如果你麵臨任何進一步的問題,樂意幫助! !