嗨Josephk
我讀過博士,但我不明白,我有一個問題。
每第一個例子說我應該做本:
spark.readStream.format \ (“cloudFiles”)
.option (“cloudFiles。”、“json格式”)\
.option (“cloudFiles。schemaLocation”、“\ < path_to_schema_location >”)
.load \ (“< path_to_source_data >”)
.writeStream \
.option (“mergeSchema”,“真正的”)\
.option (“checkpointLocation”、“< path_to_checkpoint >”) \
.start (“< path_to_target”)
所以我有幾個cloudFiles選項我從隊列讀取文件通知,但基本上我做上麵的一樣,沒有指定的閱讀模式,設置mergeSchema寫。