鑲木地板三角洲csv文件

[紫外線]

嗨,團隊,

我有一個鋪在s3 bucket是三角洲文件我能讀,但是我無法把它寫成一個csv文件。

得到以下錯誤當我試圖寫:

的事務日誌數據磚三角洲發現的s3: / /路徑/ abc / _delta_log ',

但你想寫的s3: / /路徑/ abc /使用格式(csv)。你必須使用

的格式(“δ”)當閱讀和寫作δ表。

我用這種方法寫csv

abc.write.format(“δ”).mode(“覆蓋”).options(分隔符= " | "). csv (destinationBucketPath)

讓我知道我需要改變什麼。

[Aviral-Bhardwaj]

請分享的代碼,我們也可以複製這個東西

[匿名]

@yuvesh kotiala:

錯誤消息顯示,您需要使用格式(“δ”)而不是格式(csv)在閱讀和寫作差值表。在你的代碼中,你要編寫一個三角洲文件作為一個CSV文件,這是導致錯誤。如果你想寫數據到一個CSV文件,你可以先閱讀Delta文件作為dataframe然後把它寫成一個CSV文件。這裏有一個例子:

從pyspark。sql導入SparkSession #創建SparkSession火花= SparkSession.builder.appName (DeltaToCSV) .getOrCreate() #讀Delta文件作為dataframe delta_df = spark.read.format .load(“δ”)(“s3: / /道路/ abc /”) #寫dataframe delta_df.write.format作為一個CSV文件(CSV) .mode(“覆蓋”).options(分隔符=“|”).save (destinationBucketPath)

請注意,當你讀Delta文件,您需要使用格式(“δ”)和負載csv()()而不是在你的原始代碼。這將Delta文件讀取dataframe,然後可以寫成一個CSV文件使用格式(CSV)並保存()。

[匿名]

嗨@yuvesh kotiala

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!