寫從Dataframe CSV文件,CSV文件是空白的

[尼克]

嗨

我閱讀從一個文本文件從一個blob

val sparkDF = spark.read.format (file_type) .option(“頭”,“真正的”).option .option (“inferSchema”、“true”)(“分隔符”,file_delimiter) .load (wasbs_string + " + PR_FileName)

然後我Dataframe測試

sparkDF.createOrReplaceTempView (tblLookupTable) / / sparkDF.show () / / sparkDF.show (10) / / sparkDF.take (5)

做一些其他的事情呢

val sqlDF =火花。sql (SELECT * FROM tblLookupTable) / / sqlDF.printSchema () / / sqlDF.show (1000)

到目前為止一切工作最後我想寫它到另一個blob

工作但csv文件是空的,為什麼? ? ? ? ?誰能幫助

sqlDF.write.format (“com.databricks.spark.csv”) .option(“頭”,“真正的”).option .option (“inferSchema”、“true”)(“分隔符”,“|”).save (“wasbs: / / MyRoo(電子郵件保護)/ MyPathName mydata.csv”)

它適用於任何數據,是的它創建臨時文件夾”mydata。csv文件mydata.csv

但文件沒有頭,也沒有數據。

謝謝

[User16829051266]

嗨,尼克,

你能做一個文件清單目錄“…/ MyPathName / mydata。csv /”和上傳文件的名稱嗎?

你的數據應該位於CSV文件(s),開始“部分- 00000 - tid - xxxxx。csv”,每個分區在一個單獨的csv文件,除非在編寫文件時,您指定:

sqlDF.coalesce (1) .write.format (“com.databricks.spark.csv”)…

[尼克]

我隻有一個文件在文件夾“MyFolder”一個簡單的閱讀我的文件

sqlDF.write.format (file_type) .option .option(“標題”、“true”) (“inferSchema”、“true”) .option .save(“分隔符”、“|”)(“wasbs: / /(電子郵件保護)/ MyFolder mydata.csv”)

. .我也看不出“部分- 00000 tid——xxxxx。csv”,順便說一下我保存到一個blob文件夾中,就像我之前說過的blob文件夾中創建的文件是沒有數據

[User16829051266]

你能在文件夾“mydata.csv”嗎?在這種背景下mydata。csv應該是一個文件夾,而不是一個文件。

[User16829051266]

它將有助於提供截圖Blob存儲目錄是什麼樣子。