JSON文件

選項

看到下麵的Apache火花參考文章支持讀寫選項。

• 讀

  • Python

  • Scala

• 寫

  • Python

  • Scala

獲救的數據列

獲救的數據列確保你永遠不會失去或錯過在ETL數據。獲救的數據列不包含任何數據解析,要麼從給定的模式,因為它不見了,因為有一個類型不匹配,或者因為套管列的記錄或文件不匹配的模式。獲救的數據列作為一個JSON返回包含列獲救的blob,和源文件路徑的記錄(源文件路徑可以在磚運行時8.3及以上)。刪除源文件路徑從獲救的數據列,您可以設置SQL配置spark.conf.set (“spark.databricks.sql.rescuedDataColumn.filePath.enabled”,“假”)。您可以通過設置啟用獲救的數據列選項rescuedDataColumn列的名稱,例如_rescued_data與spark.read.option (“rescuedDataColumn”,“_rescued_data”) .format (json) .load(<路徑>)。

當解析JSON解析器支持三種模式記錄:寬容的,DROPMALFORMED,FAILFAST。一起使用時rescuedDataColumn、數據類型不匹配不導致記錄被刪除DROPMALFORMED模式或拋出一個錯誤FAILFAST模式。腐敗的記錄是,不完整或畸形的json是下降或拋出錯誤。如果你使用的選項badRecordsPath當解析JSON數據類型不匹配不視為不良記錄時使用rescuedDataColumn。隻有不完整的和畸形的JSON存儲在記錄badRecordsPath。

例子

{“字符串”:“string1”,“int”:1,“數組”:【1,2,3),“東西”:{“關鍵”:“value1”}}{“字符串”:“string2相等”,“int”:2,“數組”:【2,4,6),“東西”:{“關鍵”:“value2”}}{“字符串”:“string3”,“int”:3,“數組”:【3,6,9),“東西”:{“關鍵”:“value3”,“extra_key”:“extra_value3”}}

瓦爾df=火花。讀。格式(“json”)。負載(“example.json”)

df。printSchema

根|——數組:數組(可以為空=真正的)||——元素:長(containsNull=真正的)|——dict:結構體(可以為空=真正的)||——extra_key:字符串(可以為空=真正的)||——關鍵:字符串(可以為空=真正的)|——int:長(可以為空=真正的)|——字符串:字符串(可以為空=真正的)

({“字符串”:“string1”,“int”:1,“數組”:【1,2,3),“東西”:{“關鍵”:“value1”}},{“字符串”:“string2相等”,“int”:2,“數組”:【2,4,6),“東西”:{“關鍵”:“value2”}},{“字符串”:“string3”,“int”:3,“數組”:(3,6,9),“東西”:{“關鍵”:“value3”,“extra_key”:“extra_value3”}}]

創建臨時視圖multiLineJsonTable使用json選項(路徑=“/ tmp / multi-line.json”,多行=真正的)

瓦爾mdf=火花。讀。選項(“多行”,“真正的”)。格式(“json”)。負載(“/ tmp / multi-line.json”)mdf。顯示(假)

火花。讀。選項(“字符集”,“UTF-16BE”)。格式(“json”)。負載(“fileInUTF16.json”)

筆記本

以下筆記本演示單行和多行模式。