我用火花版本測試盒框。我知道反斜杠是缺省轉義字符在火花,但仍然我麵臨以下問題。
我正在讀一個csv文件到一個火花dataframe(使用pyspark語言)和寫作dataframe到csv。我有一些“/ /”源csv文件(如下麵提到),在第一次反斜杠表示轉義字符和第二個反斜杠是實際的價值。
測試。csv(源數據)
Col1、Col2 Col3 Col4
1、“abc / /”Val2 xyz
2、“/ /”,abc, Val2
我正在讀測試。csv文件和創建dataframe使用下麵的代碼:
df = sqlContext.read.format (com.databricks.spark.csv) . schema(模式)。選項(“逃脫”,“\ \”).options(頭= '真的').load (“Test.csv”)
和閱讀df dataframe和寫回的輸出。csv文件中使用以下代碼:df.repartition (1) .write.format (csv)。選項(“emptyValue”,空)。選項(“頭”,“假”)。選項(“逃脫”,“\ \”)。選項(“路徑”,“D: \ TestCode \ Output.csv”)。保存(頭= '真的')
Output.csv
Col1、Col2 Col3 Col4
1、“abc / /”Val2 xyz
2 / abc, Val2
在第二行輸出。csv,轉義字符是迷失的引號(" ")。我的要求是保留的轉義字符輸出。csv。
感謝任何幫助。謝謝提前
