規範的數據自動裝卸機

[Rishitha]

我有s3數據和我使用自動裝卸機加載數據。我的json文檔字段數組的結構。

當我不指定任何模式甚至整個數據存儲為字符串數組的結構隻是一個blob弦很難的過程pyspark dataframe。

當我做指定模式自動加載,整個表是空的。

有人麵臨任何類似的問題嗎?

[artsheiko · Accepted solution]

讓我們試試以下:

cloudfile_options = {" cloudFiles。”:“json格式”、“cloudFiles。schemaLocation”:“< path_to_schema_checkpoints_location >”、“cloudFiles。在ferColumnTypes":"true" } spark.readStream.format("cloudFiles").options(**cloudfile_options).load("")

[Vidula_Khanna]

嗨@Rishitha Reddy

希望一切進行得很順利。

隻是想檢查如果你能解決你的問題。如果是的,你會很高興的答案標記為最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。

幹杯!